Обязанности:
ПРОЕКТ: в банковской сфере, команда, активно развивающая аналитические продукты и сервисы для внутренних пользователей и внешних клиентов. В рамках одного из наших направлений мы участвуем в развитии внутреннего продукта – Корпоративное хранилище данных на платформах Hadoop и Greenplum. Данные используются аналитиками банка для построения управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов. Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и т.д.). Используемые инструменты: для накопления и параллельной обработки больших объемов данных – Hadoop, Greenplum, для управления потоками ETL – Oozie, Airflow, Nifi, также используются скрипты на Bash, для разработки ETL на Hadoop – Scala, Spark, HiveDevOps – Git, Jenkins, SonarQube. ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА: Уверенное знание языка Scala в т.ч. коллекции, многопоточность и разделение доступа, лямбда выражения, паттерны и области их применения. Навыки работы с одной из сред IDE, системой сборки, системой контроля версий (git). Знание SQL и JDBC. Опыт работы с технической проектной документацией – Бизнес-требования, Технические спецификации на разработку, Архитектура, User guide, Admin guide. Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения. Будет плюсом: Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL). Опыт работы с аналитическими хранилищами (DWH), знание теории баз данных. Опыт работы с Unix системами, написание Shell скриптов. Опыт работы в agile, понимание принципов этой методологии и фреймворков Scrum, Kanban и т.д. Понимание концепций популярных блокчейнов (блоки, транзакции, логи, криптография). ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL). Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов. Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов. Развитие системы контроля качества, автотестов. МЫ ПРЕДЛАГАЕМ: Возможность участия в интересных проектах. Возможность профессионального и карьерного роста в компании. Опыт работы в команде профессионалов. Специальные тарифы для сотрудников в спортивные клубы и языковые курсы и пр. Офисный и гибридный форматы работы в Москве.Похожие вакансии