Инженер данных (потоковая загрузка)

Наша команда развивает Единое хранилище данных по всем процессам Центрального банка Российской Федерации. В нем консолидируется почти вся информация о финансовом рынке, необходимая для контроля, регулирования и прогнозирования развития экономики страны. Мы создаем на базе Единого хранилища данных приложения для анализа и визуализации информации, которая необходима для принятия решений о денежно-кредитной политике Российской Федерации. На проект реализации Комплексной системы мониторинга финансового рынка приглашаем дата инженера (потоковая загрузка данных). Технологический стек: Oracle, Click House, Hadoop, Informatica. В ближайшем будущем Postges Pro, ArenadataDB / Arenadata Hadoop, Apache Kafka, Apache Spark Streaming, Apache NiFi​​​​​​​ Обязанности: построение и развитие витрины данных для аналитических задач с учетом требований на загрузку данных в витрину, а также требований политик доступа к данным; поставка данных в режиме реального времени с учетом высокой нагрузки контроль решения подрядчика в области потоковой загрузки данных на основе имеющихся документов, определяющих требования к разрабатываемому/модернизируемому решению (функциональные требования, техническое задание, запрос на изменение и пр.); участие в работах по проектированию архитектуры решения, обеспечивающей соответствие целевой ИТ-архитектуре БР; Требования: высшее техническое образование; релевантный опыт работы от 3-х лет; экспертные знания в области разработки и проектирования высоконагруженных потоков данных, обеспечивающих поставку данных в режиме реального времени (в сжатые временные отрезки); экспертные знания в области различных методов и технологий построения хранилищ и витрин данных; приветствуется опыт работы в финтехе; опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming); опыт работы с платформами для хранения и распределенных вычислений данных в режиме реального времени (такие как Hazelcast, Redis или аналоги); опыт работы с PostgreSQL, ClickHouse, HDFS; базовые знания по архитектуре и инструментам построения ETL для ХД (Informatica, MS SSIS, иное); навык работы с любым ER-средством; знание XML и XSD-спецификаций; знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD навык работы со средствами версионного контроля; Условия: гибридный режим работы; компенсация релокации