Обязанности: - Анализ новых требований от заказчиков по задачам развития управленческой и обязательной отчетности; - Контроль реализации изменений и тестирование на стороне DWH; - Взаимодействие с внутренними заказчиками, системными аналитиками-экспертами в рамках задач DWH; - Анализ заявок от заказчика на доработку и развитие DWH; - Работа с хранилищем данных Банка (DWH); - Написание технических заданий для развития детального и витринного ровней корпоративного хранилища Банка; - Анализ и контроль качества загрузки данных в хранилище данных Банка; - Описание логической и физической модели DWH и сопровождение документации в части хранилища данных; - Разработка и создание платформы данных DLake на базе Hadoop; - Разработка ETL pipelines; - Оптимизация заданий для эффективного использования ресурсов Hadoop, Spark, Kafka; - Мониторинг и обеспечение качества данных платформы. Требования: - Опыт работы не менее 6 – лет; - Знание основных банковских продуктов, основ бухгалтерского учёта, основных банковских бизнес-процессов; - Знание принципов построения хранилищ данных, ETL процессов; - Опыт работы со стеком Hadoop (YARN, HDFS, Hive, HBase); - Опыт работы в Spark, Nifi, Airflow; - Знание систем контроля версий (git); - Опыт работы с Python; - Хорошее понимание СУБД, SQL;Oracle, Oracle Exadata, PostgreSQL; - Опыт проектирования структуры хранения данных (DWH/EDW). Будет плюсом: -Опыт работы с Cloudera; -Опыт работы в Docker, Kubernetes. Условия: - Удаленную работу; - Fulltime по МСК; - Взаимодействие по ИП; - Локация РФ; - Полная занятость, долгосрочный проект.
Похожие вакансии