Обязанности:
В VK Tech строим высоконагруженное хранилище данных, которое обслуживает ключевые аналитические и бизнес-задачи. Сейчас наша вычислительная платформа — YTsaurus (YT), но мы также используем экосистему Hadoop/Spark. Рассматриваем возможность миграции на свою платформу в виде S3 + Spark. У нас можно получить уникальный опыт: не просто читать статьи про Spark, а переписывать пайплайны, сравнивать подходы, настраивать performance и участвовать в принятии архитектурных решений. Это даст вам глубокое понимание обеих экосистем. Задачи Разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow Оптимизировать запросы и распределённые вычисления под ClickHouse и YT Мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость Помогать аналитикам с оптимизацией их SQL-запросов и структур данных Проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD) Участвовать в миграции вычислительной платформы с YT на Hadoop/Spark Требования Опыт разработки и поддержки ETL-процессов на Python + Airflow Уверенное знание SQL (JOIN, оконные функции, CTE, агрегации) Понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds Опыт оптимизации запросов в распределённых системах (ClickHouse или Spark) Знание Git (ветки, коммиты, pull requests, code review) Умение читать и анализировать чужой код Будет плюсом Реальный опыт с YTsaurus (YT) Коммерческий или уверенный учебный опыт с Hadoop/Spark Опыт миграции пайплайнов с одной вычислительной платформы на другую Навыки работы с DBT (у нас есть свой похожий инструмент) Понимание жизненного цикла данных (загрузка, трансформация, выгрузка)Похожие вакансии
Руководитель проектов в VK Tech
Договорная
Москва. Станции метро: Сокол, Аэропорт, Панфиловская, Красный Балтиец
VK
Продуктовый аналитик в VK Tech
Договорная
Москва. Станции метро: Сокол, Аэропорт, Панфиловская, Красный Балтиец
VK
Руководитель команды инженеров в VK Tech
Договорная
Москва. Станции метро: Сокол, Аэропорт, Панфиловская, Красный Балтиец
VK
Ведущий аналитик / тимлид в VK Tech
Договорная
Москва. Станции метро: Сокол, Аэропорт, Панфиловская, Красный Балтиец
VK
Договорная
Москва. Станции метро: Сокол, Аэропорт, Панфиловская, Красный Балтиец
НИИ Восход