Обязанности:
Ожидания от кандидата: коммерческий опыт работы Data Engineer от 2–3 лет (для Senior — от 4–5 лет); уверенное владение SQL: сложные запросы, CTE, оконные функции; оптимизация под большие объёмы данных; чтение и анализ планов выполнения запросов (EXPLAIN); опыт разработки и сопровождения ETL / ELT-процессов в продуктивной среде; практический опыт работы с Big Data-стеком: Hadoop, HDFS; Spark (PySpark / Spark SQL); Hive или аналогичные хранилища; опыт оркестрации пайплайнов в Apache Airflow (DAG’и, retries, SLA, backfills); уверенное владение Python: использование Python как инструмента ETL; pandas / numpy для аналитики и трансформаций данных; опыт работы с реляционными БД (PostgreSQL, Oracle, MySQL, Greenplum и др.); понимание принципов построения DWH / Data Lake / Lakehouse; умение работать с Git (CLI, ветвление, merge); опыт работы в Linux / Unix-среде; умение читать и использовать архитектурные схемы, работать с технической документацией; опыт взаимодействия с аналитиками, DWH-разработчиками, DevOps и смежными командами. Будет плюсом: опыт работы с MPP-БД (Greenplum, ClickHouse, Teradata, StarRocks); опыт разработки на Java / Groovy; опыт работы с Docker / Kubernetes; опыт настройки CI/CD (Jenkins, GitLab CI, CircleCI); опыт внедрения Data Quality (DQ)-проверок; понимание принципов data governance и data security; опыт работы с облачной инфраструктурой (AWS: S3, Glue, Lambda и аналоги); опыт работы с API (REST, gRPC); технический английский (чтение документации, коммуникация). Ключевые задачи: разработка, развитие и поддержка ETL / ELT-пайплайнов; автоматизация загрузки, трансформации и доставки данных; оптимизация SQL-запросов и Spark-джоб под большие объёмы данных; мониторинг и поддержка продуктивных процессов, разбор инцидентов; участие в проектировании и развитии архитектуры хранилищ данных; взаимодействие с аналитиками и командами DWH; участие в улучшении качества данных (DQ-контроли, валидации); ведение и актуализация технической документации; для уровня Senior: участие в архитектурных решениях; код-ревью и менторинг инженеров данных; развитие инженерных практик и процессов внутри команды. Условия: работа на крупных проектах ведущих компаний-брендов страны; заработная плата обсуждается по результатам технического собеседования; гибкий подход к месту работы: удаленно, в офисе, гибридно. компания аккредитована Минцифры РФ.Похожие вакансии