Обязанности:
Мы - команда аналитики маркетплейса. Каждый день мы обрабатываем сотни терабайт данных для проведения исследований, АВ-экспериментов, обучения ML-моделей и построения отчетности. Ищем в команду опытного инженера данных, который сможет усилить нашу экспертизу в построении ETL и хранилищ данных, а так же настройке кластеров для достижения максимального перфоманса. Вам предстоит: Погружаться в данные, их природу, качество и способ поставки; Взаимодействовать от лица команды с платформой данных для организации транспорта и интеграций; Отвечать за качество данных, на основании которых формируется ключевая отчетность направления; Изучать и транслировать команде аналитики лучшие практики работы с данными; Разрабатывать платформенные решение для работы с качеством ml-моделей; Сопровождать проекты оптимизации ручного труда аналитиков с потенциалом поработать с AI-driven решениями. Мы ожидаем: Понимание особенностей работы распределенных систем вычислений; Опыт написания ETL и DDL для Clickhouse; Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark); Опыт разработки пайплайнов на Airflow; Понимание концепции якорной модели DWH будет преимуществом; Опыт проектирования безопасных решений на основе Apache Iceberg будет являться плюсом; Опыт написания и оптимизации ETL на Vertica и Trino будет преимуществом.Похожие вакансии
Аналитик данных / Дата инженер
Договорная
Москва. Станции метро: Деловой центр, Москва-Сити
НИИ Восход
Аналитик данных (дата инженер/data scientist)
Договорная
Москва. Станции метро: Деловой центр, Москва-Сити
Diamond Personnel R&C
Договорная
Москва. Станции метро: Деловой центр, Москва-Сити
Игнашов Константин Дмитриевич