Обязанности:
Платформа данных - миграция хранилища данных аналитической отчетности на единую Data-платформу компании.Вам предстоит: Разрабатывать пайплайн поставки данных в Data Lakehouse; разрабатывать механизм для потоковой проверки качества данных (DQ); разрабатывать механизм для автоматической сборки витрин (dbt); внедрять Apache Kylin для последующего переноса кубов; внедрять Apache Flink и Apache Paimon для приземления данных и NRT-отчётов; проектировать, прототипировать и проверять гипотезы для внедрения новых компонентов и улучшения существующих решений. Вы нам подходите, если: Уверенно владеете Java или Python (со стремлением изучить Java); свободно владеете SQL; имеете опыт работы со Spark; имеете опыт работы с Apache Iceberg; имеете опыт работы с Docker и docker-compose; понимаете особенности форматов данных Avro, ORC, Parquet.Похожие вакансии
Договорная
Москва
Федеральное автономное учреждение «Национальный институт аккредитации» (ФАУ НИА)