Мы - команда разработки Аналитической Платформы (АПЛ) розничного взыскания и урегулирования. Создаем, внедряем, сопровождаем и развиваем дата-продукты для наших внутренних клиентов. Под капотом у этих продуктов в качестве СУБД была и пока остается СУБД Oracle, но в рамках импортозамещения - принято решение по миграции с Oracle на Hadoop и Greenplum с последующим развитием нового аналитического слоя хранилища данных.Обязанности Проектирование, разработка и поддержка инфраструктуры для хранения и обработки больших данных; Проектирование и разработка ETL-процессов, используя внутренние и внешние источники данных для NRT и Batch поставок данных; Проектирование и настройка систем отчетности для разовых и периодических выгрузок данных для внутренних и внешних заказчиков Требования Опыт разработки на Java / Python / Scala не менее 3 лет; Опыт в написании функций для первичной обработки, преобразования и агрегации данных на одном из или нескольких вышеуказанных языках; Опыт разработки в экосистеме Hadoop (HDFS, YARN, Оркестраторы); Хорошие знания фреймворка Spark; Базовый опыт оптимизации запросов; Опыт разработки в SQL (Oracle, PostgreSQL, Greenplum) и NoSQL (Hive, Impala); Опыт в создании алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц; Хорошие знание SQL (понимание от чего зависит оптимальность запроса; умение разбираться в сложных аналитических запросах); Уверенные знания теории DWH; Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket/Git Условия комфортный современный офис ежегодный пересмотр зарплаты, квартальную и годовую премию корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь руководителя на старте расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера
Похожие вакансии