Наша команда отвечает за управление всеми данными B2C сегмента клиентов Сбера. Мы уже трансформировали подход к управлению данными, построили единый слой детальных данных и продолжаем развивать его актуальность и полноту. Так же перед нами стоят амбициозные задачи построения единого слоя агрегатов и фичей B2C, реализация всего тракта поставки данных в RealTime и внедрения нового стека технологий, что позволит создать единую точку правды для упр. отчетности, моделей и фронтальных систем, а так же капитализировать данные за счет их многократного переиспользования. Ищем лида тех компетенции DE. Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket. И NRT пайплайны с Flink, Spark Streeming, Kafka, dynamic tables. языки - Python, Java, Scala. Обязанности разработка DWH/DataLake/LakeHouse построение поставки данных в RealTime/NRT/Batch проведение код-ревью других разработчиков оптимизация ETL повышение актуальности данных снижение latency доступа к данным разработка и валидация архитектуры данных Требования отличное знание SQL (join, CTE, оконные функции, фреймы и др.) опыт работы с Hadoop, Spark, Iceberg/Paimon опыт работы с Flink и Spark Streaming опыт работы с Kafka и др. Брокерами опыт работы с оркестраторами (например, Airflow) и CI/CD опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.) опыт кратной оптимизации ETL практическое знание python на уровне разработки ETL практическое знание java/scala будет преимуществом практический опыт создания и защиты архитектуры данных будет преимуществом практический опыт разработки solution-архитектуры data-продуктов будет преимуществом Условия офисный (метро Кутузовская) формат работы 5/2 годовой бонус и ежегодный пересмотр расширенный ДМС с первого дня + стоматология и льготное страхование для семьи корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях офис на Кутузовской с зонами отдыха и спортзалом льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров.
Похожие вакансии