Обязанности:
ВАМ ПРЕДСТОИТ: Проектирование и развитие Data Lakehouse на стеке S3 + Apache Iceberg: слои ODS → DDS → Data Marts; Разработка и оптимизация трансформаций на Trino + dbt: модели, тесты, инкрементальные стратегии, SCD2; Реализация DDS-слоя по методологии Business Data Vault (Hub / Link / Satellite); Проектирование и сопровождение data marts в ClickHouse для аналитических и BI-запросов; Разработка и поддержка DAG-ов в Apache Airflow: оркестрация пайплайнов, мониторинг, алертинг, retry-логика; Интеграция источников данных: Kafka CDC из 1С и PIM, REST API, файловые выгрузки; Обеспечение качества данных; Оптимизация производительности запросов Trino и ClickHouse: партиционирование, сортировка, materialized views; Участие в миграции существующих пайплайнов с текущего DWH (MSSQL Stage → DDS) на LakeHouse; Code review, документирование архитектурных решений. МЫ ОЖИДАЕМ: Опыт в Data Engineering от 4 лет; Глубокое знание SQL, опыт оптимизации сложных аналитических запросов; Практический опыт работы с Apache Iceberg или Delta Lake в production; Опыт с Trino (Presto) или аналогичными MPP-движками (Spark SQL, Impala); Опыт с dbt: модели, макросы, тесты, инкрементальные стратегии, environments; Уверенное владение Apache Airflow: разработка DAG-ов, Sensors, Custom Operators, XCom, dynamic task mapping; Опыт с ClickHouse: проектирование таблиц, движки (MergeTree, ReplacingMergeTree), materialized views; Опыт работы с Kafka / Kafka Connect / CDC-потоками; Python на уровне написания production-кода (коннекторы, обработка данных, утилиты); Понимание Data Vault 2.0 / Business Data Vault как методологии моделирования DDS; Опыт работы с S3-совместимыми хранилищами (MinIO, AWS S3, Yandex Object Storage); Git, CI/CD для data-пайплайнов. МЫ ПРЕДЛАГАЕМ: Оформление согласно ТК РФ в ИТ-компанию. График работы: 5/2 (9-18/10-19). Гибрид/полностью удаленная работа. Современный и комфортный офис, в шаговой доступности от м. Фили. Заботу о твоем здоровье (ДМС со стоматологией). Корпоративное обучение, скидки на изучение иностранного языка. Скидки на продукцию бренда. LIMÉ - это компания сильных и успешных!Похожие вакансии