Обязанности:
Чем ты будешь заниматься: Разрабатывать и сопровождать ETL/ELT-пайплайны на Apache Spark и Apache Flink Проектировать и развивать продуктовые витрины данных под задачи аналитики, BI и ML Готовить агрегированные и очищенные наборы данных из телематики, GPS, логов и учетных систем Контролировать качество, полноту и своевременность обновления данных Взаимодействовать с корпоративной платформой данных и владельцами источников по требованиям на подключение новых источников и доработку существующих загрузок; Оптимизировать задания Spark/Flink, SQL-запросы и витрины для быстрой работы аналитики и дашбордов Мы ожидаем от кандидата: Опыт работы в роли Data Engineer / BI Engineer от 2–3 лет Уверенный опыт работы с Apache Spark Опыт работы с Apache Flink или понимание принципов потоковой обработки данных Хорошее знание SQL и опыт оптимизации запросов Уверенное владение Python; понимание ETL/ELT-процессов, качества данных и мониторинга загрузок Опыт проектирования витрин Будет плюсом: опыт с ClickHouse; опыт работы с IoT-, log- или телематическими данными; понимание логистики, автотранспорта, эксплуатации техники; опыт подготовки данных для ML и process mining Стек технологий: Apache Spark, SQL, Python, ClickHouse, S3(Parquet +Iceberg), Postgres, ETL / ELT, Git, Airflow, Apache SupersetПохожие вакансии
От 200 000 до 250 000 руб.
Москва. Станции метро: Савёловская
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЛИТРЕС"