Обязанности:
Сейчас мы в поиске опытного инженера данных в команду, нам нужен человек с реальным опытом построения пайплайнов обработки данных в реальном времени и пакетном режимах, разработки витрин данных, архитектуры данных на Big data стеке. Чем предстоит заниматься разрабатывать пайплайны построения витрин данных и обработки данных в пакетном и онлайн режимах; тестирование пайпланов обработки данных; разработка мониторинга работы пайплайнов в продуктивном контуре; разрабатывать структуру хранилища по парадигме Data Vault 2.0; реализовать PoC (MVP) с использованием новых инструментов и технологий. птимизировать процессы хранения и обработки данных с использованием современных технологий и подходов; реализация распределенных алгоритмов на больших данных; разработка, продукционализации и оптимизация признаков для моделей машинного обучения; разработка пайплайнов обезличивания данных для тестирования признаков для моделей машинного обучения; разработка архитектуры данных для Feature store Что ожидаем от тебя Опыт коммерческой разработки от 3-5 лет, основной ЯП - Scala, Python; SQL - аналитические функции, оконные функции, триггеры. PostgreSQL, Redis, Greenplum; Опыт обработки данных с помощью Apache Spark (основной фреймворк платформы), Apache Spark structured streaming, Flink, Apache Kafka, оптимизация Apache Spark задач (понимание работы изнутри, оптимизация параметров работы джобов); Опыт работы с манипуляцией данными в распределённых файловых хранилищах HDFS, Ceph S3; Опыт работы в работы со стеком Hadoop (Yarn, Spark History server); Опыт разработки дагов Apache Airflow (все пайплайны оркестрируются); Опыт работы с Feature store (Feast). Будет плюсом: Опыт работы с табличным форматом хранения данных Delta lake; Опыт работы с Data science в части MLOP; Опыт работы с метадатакаталогами (DataHub), качество данных (Great Expectation). Что готовы предложить Оформление по ТК РФ: оклад(готовы обсуждать)+ годовой бонус; Компания входит в реестр ИТ компаний; Удаленный формат работы ( в РФ) ДМС со стоматологией (с 1 рабочего дня + полис путешественника) Как мы проводим собеседования: 15-20 минут - общение с рекрутером (tg аудио); 90 минут - техническое интервью 60 минут - финальная встреча СБ, 1-3 дня ОфферПохожие вакансии