Команда данных по инвестиционным продуктам. Мы развиваем DWH по инвестиционным продуктам для аналитических сервисов мобильного приложения Сбербанк Онлайн секции "Всего средств" и участвуем в развитии единого DWH банка. Моделируем и развиваем базовые витрины по инвест продуктам и спец. витрины расчета доходности портфеля клиента. Мы ищем разработчика хранилищ данных/ETL инженера, способного принять активное участие в развитии базового аналитического слоя хранилища данных, а также в построении витрин и контролей качества данных по портфелю клиента в инвестиционных продуктах (Доверительное управление, Брокеридж, ПИФ, ивест. Страхование). Данная роль предусматривает: создание витрин и вывод их в пром в соответствии с банковским релизным процессом, развитие модели хранения данных, реализация реконсиляции с эталонными данными, работу с качеством данных – как методология (что такое «качество»), так и техническая реализация процессов проверки качества данных. Обязанности участие в разработке витрин данных с использованием инструментов Hadoop разработка интеграционных решений между хранилищем данных и мобильными сервисами разработка решений потоковой обработки данных в режиме near real time оптимизация существующих разработок подготовка и сборка дистрибутивов, сопровождение по стендам разработки и тестирования quality assurance решений промышленного контура: разрабатываемых и уже внедренных. Требования опыт работы с инструментами Hadoop (Hive, Spark, Oozie, HDFS, YARN), понимание внутренней архитектуры опыт работы с ведущими СУБД (Teradata, Oracle, MS SQL) знание SQL на уровне оптимизации сложных запросов опыт разработки и оптимизации расчетов на больших объемах данных в Hadoop, знание Scala знания принципов построения распределенных систем хранения и обработки данных знание классических алгоритмов и структур данных понимание архитектуры хранилищ данных уверенная работа с git, bitbucket, jenkins умение тестировать и документировать собственный код, а также работать с существующим кодом Будет плюсом, если ты имеешь: уверенное знание и опыт программирования на Scala/Java опыт работы с NoSQL базами данных (HBase, Cassandra) опыт работы с Kafka и разработки NRT решений опыт работы со Spark Streaming, Kafka, будет плюсом Flink опыт создания высоконагруженных распределенных систем, знакомство с существующими практиками в области участие в проектах с открытым исходным кодом. Условия комфортный офис г. Санкт-Петербург, метро Новочеркасская (в 2025 г переезд на Василеостровскую, Уральская ул, 1) режим работы: 3 месяца офис, после испытательного срока - гибрид ежегодный пересмотр зарплаты, годовая премия уникальная система обучения Сбера для профессионального и карьерного развития расширенный ДМС и льготное страхование для семьи ипотека для сотрудников выгоднее до 4 % бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера корпоративная пенсионная программа.