Обязанности:
BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist. КОГО МЫ ИЩЕМ? SENIOR DATA ENGENEER В ЦЕНТР УПРАВЛЕНИЯ ДАННЫМИ ОПИСАНИЕ ПРОДУКТА:Группа Центр Компетенций в Управлении данными отвечает за создание масштабируемых фреймворков для организации управления данными в крупной компании. Группа отвечает за фреймворки по направлениям Метаданные, Качество данных, Справочные и основные данные, а также участвует в проработке стандарта AI-ready данные, стандарты работы дата-аналитиков и дата-инженеров. Ключевые метрики успеха: сокращение рутины при исполнении практик управления данными и повышение скорости при анализе данных и настройке регулярных процессов обработки данных. В 2026 году группа делает особенный акцент на повышении качества работы дата инженеров, поэтому ищем опытного инженера, который готов делиться своим опытом работы с Lakehouse, помогать внедрять его с нуля, а также оптимизировать уже настроенные ETL. ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ Участвовать в проектировании и построении инновационных и амбициозных решений для обработки данных в масштабе компании Разрабатывать технические рекомендации и внедрять лучшие практики в команде дата-инженеров Проектировать и реализовывать миграции существующих решений на новую инфраструктуру (например с Hadoop/Hive/HDFS на Lakehouse/S3/Iceberg) Анализировать и оптимизировать ETL/SQL/Spark-приложений для повышения производительности на различной инфраструктуре ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ Технический стек: Apache Spark: углубленное понимание внутренней архитектуры и оптимизация производительности, практический опыт интеграции Spark с нативными движками SQL: продвинутые навыки работы с запросами и оптимизацией Python и/или Java: уверенное владение одним из языков Hadoop/HDFS: опыт работы с распределенными файловыми системами Apache Kafka/Spark streaming/Flink: построение стриминговых решений и интеграций Airflow: разработка и управление ETL-пайплайнами СУБД: опыт работы как с реляционными БД, так и с MPP-системами (Greenplum, Clickhouse), понимание их внутреннего устройства, возможностей, особенностей и отличий Lakehouse: опыт разработки ETL-процессов для S3 и Apache Iceberg Архитектурная экспертиза: Понимание различных принципов проектирования хранилищ данных Знание современных подходов к построению Data Lakehouse архитектуры Опыт выбора оптимальных систем хранения и обработки в зависимости от требований Опыт построения эффективных ETL/ELT-архитектур (пакетная и потоковая обработка) Диагностика и оптимизация: Сильные навыки в выявлении и устранении узких мест производительности в дата-пайплайнах Умение анализировать планы выполнения, настраивать СУБД и движки для улучшения производительности Диагностика проблем с распределенными системами (Spark, Hadoop) и их эффективное решение Мониторинг и анализ метрик производительности для выявления потенциальных проблем до их возникновения БУДЕТ ПЛЮСОМ Опыт выстраивания CI/CD для дата-пайплайнов Знание технологий контейнеризации (Docker, Kubernetes) на уровне "как оно там заводится и крутится", еще лучше если разбираешься в этом Понимание принципов Data Governance Задачи Data Quality и Data Observability - практический опыт или хотя бы предсталение "как должно быть" Умение использовать LLM и AI-инструменты для повышения своей производительности ЧТО ПРЕДЛАГАЕМ Что мы предлагаем: собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах; профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше; внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации; участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch; полезные курсы и вебинары в корпоративном университете и электронную библиотеку. А еще: ДМС с первого месяца работы, включая стоматологию; страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях; отпуск 28 календарных дней; прием врачей общей практики и массаж в офисе; мобильная связь за счет компании и льготные тарифы для близких; подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.Похожие вакансии
Middle+/Senior Data Scientist в Защитник (Big Data, МТС Веб Сервисы)
Договорная
Москва. Станции метро: Коломенская, ЗИЛ, Технопарк
МТС
Junior Data Analyst в DataHouse [Big Data, МТС Веб Сервисы]
Договорная
Москва. Станции метро: Коломенская, ЗИЛ, Технопарк
МТС
Data Engineer (Big Data) Scala
От 165 000 до 220 000 руб.
Москва. Станции метро: Коломенская, ЗИЛ, Технопарк
Платформа ОФД
Разработчик (Big Data) / Data Engineer
От 200 000 руб.
Москва. Станции метро: Коломенская, ЗИЛ, Технопарк
Макаренко Валентина Ивановна
Стажер Дата аналитик [Big Data, МТС Веб Сервисы]
Договорная
Москва. Станции метро: Коломенская, ЗИЛ, Технопарк
МТС
Middle ML Engineer в Recsys [Big Data, МТС Веб Сервисы]
Договорная
Москва. Станции метро: Коломенская, ЗИЛ, Технопарк
МТС