Обязанности:
АО «Мособлгаз» — одна из крупнейших газораспределительных компаний России — ищет Data инженера. Вам предстоит работать с реальными операционными и транзакционными данными масштабной инфраструктуры, строить ETL‑процессы и оптимизировать хранилища.Идеальный вариант для тех, кто хочет применить свои навыки в реальном секторе и увидеть влияние своей работы на бизнес. Чем предстоит заниматься: Собирать, обрабатывать и анализировать реальные данные из транзакционных систем, обеспечивать их качество и целостность. Разрабатывать, внедрять и поддерживать ETL‑процессы (извлечение, трансформация и загрузка данных) для интеграции информации из разнородных источников. Создавать и сопровождать витрины данных, структурируя информацию под конкретные бизнес‑задачи и запросы пользователей. Оптимизировать архитектуру и производительность хранилищ данных в т.ч. настраивать индексы, партиционирование и способы хранения для ускорения запросов и снижения нагрузки на систему. Взаимодействовать с командой аналитиков: уточнять требования к данным, согласовывать структуру витрин и отчётов, помогать в поиске и устранении проблем с данными. Проектировать и поддерживать пайплайны данных (data pipelines), гарантируя надёжность, масштабируемость и отказоустойчивость процессов обработки. Документировать процессы работы с данными: описывать схемы баз данных, ETL‑логику, интерфейсы обмена и правила трансформации. Мониторить работу ETL‑процессов и хранилищ: выявлять узкие места, ошибки загрузки и задержки, оперативно устранять инциденты. Участвовать в развитии стратегии работы с данными в компании: предлагать решения по улучшению качества данных, автоматизации процессов и внедрению новых инструментов. Мы ждём, что вы: Владеете SQL на продвинутом уровне: пишете сложные запросы, оптимизируете планы выполнения, работаете с оконными функциями, хранимыми процедурами и триггерами. Уверенно программируете на Python для задач обработки данных: используете библиотеки pandas, numpy, pyspark и др., пишете скрипты автоматизации и компоненты ETL. Имеете практический опыт работы с ETL‑инструментами и оркестрацией процессов, в т. ч. с Apache Airflow (создаёте DAG, настраиваете сенсоры и операторы, управляете зависимостями задач). Работали с технологиями больших данных (Big Data): знакомы с экосистемой Hadoop, используете Spark (PySpark/Spark SQL) для распределённой обработки, понимаете принципы работы HDFS, Hive, HBase и аналогичных решений. Знаете принципы проектирования хранилищ данных (Data Warehouse) и витрин данных (Data Marts): знакомы с методологиями Kimball и Inmon, умеете строить схемы «звезда» и «снежинка». Имеете опыт работы с BI‑системами (Tableau, Power BI, Looker и т. п.) и понимаете, как готовить данные для визуализации: создаёте семантические слои, метрики и дашборды совместно с аналитиками. Понимаете основы распределённых систем и облачных платформ (AWS, GCP, Azure): работали с облачными хранилищами (S3, BigQuery, Redshift, Synapse и т. д.) и сервисами обработки данных. Умеете читать и проектировать схемы баз данных, работать с реляционными (PostgreSQL, MySQL, Oracle) и, желательно, NoSQL‑системами (MongoDB, Cassandra). Обладаете навыками документирования технических решений и процессов, чётко формулируете мысли в устной и письменной коммуникации. Готовы к непрерывному обучению: следите за трендами в области Data Engineering, изучаете новые инструменты и подходы к работе с данными. Почему стоит к нам прийти: Развитие. Мы компенсируем затраты на обучение по программам, которые нужны для работы:тренинги, семинары, курсы — поможем расти профессионально. Забота о здоровье. После испытательного срока предоставляем ДМС (с софинансированием). Комфорт на работе. На территории есть столовая,где можно вкусно пообедать, и корпоративный фитнес-клуб. Для семьи. Детям сотрудников предоставляем путёвки в корпоративный лагерь. Удобный путь на работу. Организован корпоративный транспорт от метро «Парк Победы». Место работы: Рублёво-Успенское шоссе, 1-й километр, 1Б.График: 5/2, с 09:00 до 18:00, в пятницу — до 16:45. Присоединяйтесь к команде «Мособлгаза» — здесь вы сможете решать масштабные задачи и расти вместе с одной из ведущих компаний отрасли!Похожие вакансии
Договорная
Москва. Станции метро: Строгино, Крылатское, Молодежная
Лига Цифровой Экономики
От 156 000 до 157 000 руб.
Москва. Станции метро: Строгино, Крылатское, Молодежная
РостДжоб
От 270 000 руб.
Москва. Станции метро: Строгино, Крылатское, Молодежная
Decart IT-production