Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде! Обязанности: Разработка надежных pipeline обработки данных Создание витрин данных Анализ новых источников данных, настройка процесса загрузки данных в Data Lake Оптимизация текущих процессов обработки данных Развитие платформы данных, в т.ч. Data Quality Требования: Высшее техническое образование Опыт работы с Hadoop (HDFS, Yarn), понимание структур данных (Parquet) Опыт разработки высокопроизводительных ETL-процессов на pySpark Глубокое знание SQL, основных принципов работы реляционных и nosql СУБД, в т.ч. MPP, умение писать оптимальные запросы Уверенное знание Python Навыки реализации оркестрации в Airflow Знание основных методологий построения хранилищ данных Условия: Работа в динамично развивающейся организации Правительства Москвы Пятидневная рабочая неделя с 10:00 до 19:00 Возможность реализовать себя в значимых городских проектах и видеть результаты своей работы Профессиональный рост: реальная возможность получить повышение или горизонтальную ротацию благодаря опытным коллегам и наставникам
Похожие вакансии