Ищем Data Engineer на крупный банковский проект. Наша команда реализует продукт кредитования юридических лиц сегмента малого и микро бизнеса. Мы закончили процесс миграции на новые системы и сейчас начинаем активно развивать продукт и делать его лучше для клиентов. Впереди много интересных задач и идей, которые сделают нас лучше. Обязанности: исследование источников данных (внешних данных, реплик АС Банка, других витрин) разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python) Code Review изменений, предлагаемых коллегами из своей и соседних команд Требования: знание SQL на уровне аналитических запросов умение обращаться с git, bash знания языков программирования Java/Scala, Python понимание работы Hive, Spark на Hadoop Будет плюсом опыт разработки на Spark/PySpark; оптимизация выполнения сценариев на Spark опыт использования Apache Oozie понимание процессов ETL, ELT Условия: Оформление по ТК РФ в аккредитованную IT компанию Скидки на абонемент в фитнес-центр, курсы английского языка Гибридный график работы Работа в дружной и профессиональной команде Возможность карьерного роста и получения экспертизы в ведущих финансовых организациях страны;
Похожие вакансии