Обязанности: Разработка приложения для построения витрин данных с использованием Apache Airflow / Spark на платформе анализа данных; Сборка и валидация датасетов для передачи в отдел разработки моделей; Оптимизация/рефакторинг DAG’ов, обеспечение стабильности и производительности в соответствии с типовыми инженерными практиками платформы; Взаимодействие с аналитиками в задачах проектирования и анализа данных. Требования: Хорошие знания SQL, Python/Scala; Понимание концепций DWH; Опыт проектирования и разработки ETL процессов; Опыт работы с Apache Airflow / SPARK; Опыт разработки не менее 3 лет, из них не менее 1 года с Airflow; Опыт разработки СУБД Arenadata/Hadoop/hive. Желательно: Участие в разработке технической, проектной документации на создание и развитие информационных систем; Опыт работы с Jira/Confluence/Сфера; Опыт работы в банковской сфере, понимание специфики банковских процессов и сущностей; Опыт проведения ПСИ и/или демо продукта; Знание принципов, процессов, этапов (жизненного цикла) разработки хранилищ, витрин данных.
Похожие вакансии