Обязанности: Настройка интеграций с источниками данных; Организация и поддержка работы каталога данных; Поддержка и помощь в работе с хранилищем данных; Взаимодействие с командами разработки и аналитики. Требования: Опыт работы с Apache Airflow в корпоративной среде: настройка и управление пайплайнами данных; опыт разработки DAG на Python для автоматизации ETL процессов; оптимизация и мониторинг выполнения DAG-ов. Опыт самостоятельной разработка ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных; Понимание принципов и опыт работы с каталогами данных; Навыки работы с DBT (Data Build Tool): разработка и поддержка моделей данных с использованием DBT. интеграция DBT в пайплайны данных для трансформации данных. понимание процессов версионирования моделей данных. Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming); Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих; Опыт работы с реляционными базами данных (PostgreSQL, MSSQL); Опыт работы с облачными платформами (Yandex.Cloud); Навыки работы с системами контроля версий (Git). Условия: Гибридный формат работы; Конкурентная заработная плата; Профессиональное обучение и развитие; Добровольное медицинское страхование сотрудника и несовершеннолетних членов семьи, страхование жизни и здоровья.
Похожие вакансии