Обязанности: Проектирование и разработка конвейеров ETL для извлечения данных из различных источников, преобразования их в согласованный формат и загрузки в хранилище данных. Оптимизация производительности конвейеров ETL для обеспечения своевременной доставки данных. Мониторинг конвейеров ETL и устранение неполадок для обеспечения бесперебойной работы. Управление данными в хранилище данных, включая очистку, преобразование и управление качеством данных. Требования: Не менее 1-года на похожей позиции. Желательный опыт: не менее 3-х лет Степень бакалавра или магистра в области компьютерных наук, информационных систем или смежной области. Сильные навыки программирования на языках SQL, Python и Java Знание технологий ETL/ELT Знание и практические опыт Apache Spark, Apache Airflow и Apache Kafka Опыт работы с большими данными Знание методологий проектирования баз данных data vault, anchor modeling, 2-3NF Опыт в использовании технологии Debezium или других инструментов для change data capture (CDC), с целью обеспечения реального времени обработки данных Дополнительные желательные требования: Знание облачных технологий Сертификация в области разработки ETL или управления данными Знание методов машинного обучения и искусственного интеллекта (ИИ) Условия: Формат работы: удаленный/гибрид / офис в Москве (м. Улица 1905 года)/Нижнем Новгороде; Полис ДМС; Возможность профессионального развития и карьерного роста, профессиональная команда. Уровень вознаграждения обсуждается индивидуально с успешным кандидатом. Оформление по ТК РФ.
Похожие вакансии