Обязанности:
Издательский дом «Коммерсантъ» — ведущее деловое медиа России. Мы строим и развиваем собственную аналитическую платформу для сбора данных из разных источников, их унификации и формирования дашбордов для бизнеса и редакции. Наши цифровые активы — kommersant.ru, autopilot.ru, myweekend.ru — ежедневно генерируют большие объёмы данных. Мы ищем Data Engineer, который поможет нам сделать пайплайны надёжными, прозрачными и эффективными. Чем предстоит заниматься: · Оценить текущие ETL-процессы и разработать рекомендации по их изменению, затем заняться их реализацией. · Разрабатывать и поддерживать ETL/ELT-пайплайны по спецификациям. · Настраивать интеграции с источниками данных (API / файлы / БД), обеспечивать стабильную доставку данных. · Писать SQL-трансформации и собирать витрины данных в ClickHouse (агрегации, инкрементальные загрузки, оптимизация запросов). · Разрабатывать и сопровождать DAG’и в Apache Airflow (расписания, зависимости, ретраи). · Поддерживать и мониторить существующие пайплайны: алерты, разбор инцидентов, устранение причин падений. · Участвовать в тестировании и отладке data pipelines (проверки качества, корректность расчетов, контроль «пустых» загрузок). · Вести документацию: описания источников, схем, витрин, логики расчетов и изменений. Наши ожидания: · Опыт работы в data engineering или backend-разработке с фокусом на данные от 2 лет. · Опыт построения отказоустойчивых DWH / Data Lake. · Хорошее знание SQL (JOIN, оконные функции, агрегации, оптимизация запросов). · Опыт работы с ClickHouse и реляционными СУБД (PostgreSQL, MySQL и др.). · Python на уровне уверенного написания скриптов для загрузки/обработки данных (requests, pandas, работа с CSV/JSON, базовые принципы тестирования). · Понимание принципов ETL/ELT. · Опыт работы с Apache Airflow (создание DAG’ов, Operators/Sensors). · Linux/Ubuntu: командная строка, базовое администрирование, понимание логов, cron, systemd, pm2. Будет вашим преимуществом: · Опыт работы с Redash (создание дашбордов, подключение источников). · Знание инструментов мониторинга (Prometheus, Grafana). · Понимание работы с большими данными (партиционирование, шардирование). · Опыт использования Docker / Kubernetes для оркестрации data-приложений. Мы предлагаем: · Оформление по ТК РФ. · График работы: гибридный формат (часть времени в офисе, часть — удаленно). 5/2 с 10:00 до 19:00. · Испытательный срок 3 месяца. По окончании — ДМС и другие опции соцполитики. · Уровень дохода: конкурентная заработная плата, обсуждается с успешным кандидатом. · Работа в престижном бизнес-центре класса А (м. Маяковская, Оружейный переулок, 41) или удаленно. · Период адаптации, профессиональная команда, доступ к эксклюзивным данным и инструментам.Похожие вакансии
Договорная
Москва. Станции метро: Чеховская, Пушкинская, Маяковская, Новослободская
Бренд одежды, обуви и аксессуаров LIMÉ
Договорная
Москва. Станции метро: Чеховская, Пушкинская, Маяковская, Новослободская
edna
Договорная
Москва. Станции метро: Чеховская, Пушкинская, Маяковская, Новослободская
Crezu
До 250 000 руб.
Москва. Станции метро: Чеховская, Пушкинская, Маяковская, Новослободская
Paylate
Договорная
Москва. Станции метро: Чеховская, Пушкинская, Маяковская, Новослободская
Банк ПСБ
Договорная
Москва. Станции метро: Чеховская, Пушкинская, Маяковская, Новослободская
Rubytech