Обязанности:
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Загружать и обрабатывать в DWH данных внутренних и внешних систем (стек Kafka, PySpark, Hadoop, Clickhouse, AirFlow, s3, dbt, trino); принимать участие в построении DWH: проектирование, определение сущностей, формирование витрин данных; формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных. ЧЕГО МЫ ЖДЕМ: Опыт обработки больших данных, знание принципов работы БД и методологий моделирования; продвинутый уровень владения Python, Apache AirFlow, SQL,dbt; понимание концепций непрерывной интеграции, доставки (CI/CD) и работа с контейнерами (Docker); высшее образование, широкий технический кругозор; проактивность и ответственность за конечный результат; английский - на уровне чтения документации. Будет плюсом: - Знание Spark и trino.Похожие вакансии