Обязанности: Проектирование и разработка ETL/ELT: Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов); Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS); Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур; Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна; Документация: Ведение технической документации. Требования: Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода; SQL) Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры; Airflow: Обязательно. Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server); Опыт работы с PostgreSQL; Опыт администрирования самого Airflow (настройка, деплой); Понимание важности SLA (времени доставки данных) и качества данных. Будет плюсом; Системное мышление; Проактивность; Коммуникабельность. Готовность общаться с аналитиками; Ориентация на результат. Условия: Официальное трудоустройство в крупнейшем кондитерском холдинге России. График работы 5/2, стабильный рабочий день с 09-00 до 18-00. Офис в шаговой доступности от м. Павелецкая. Возможности для профессионального роста и развития.
Похожие вакансии