Обязанности:
Акселератор Возможностей — инвестиционно-консалтинговая компания, крупнейший в России интегратор корпоративных инноваций, главный оператор инновационной деятельности на территории Научной Долины МГУ. Миссия компании – обеспечение устойчивого инновационного развития российских компаний, а также реализация кадрового потенциала российских специалистов. Сейчас мы ищем ETL разработчика для трудоустройства в штат нашего партнера. Российский ИТ-интегратор, ключевой подрядчик в цифровой трансформации российского бизнеса для ведущих банков, крупнейших металлургических, горнодобывающих, нефтехимических компаний, ритейл-компаний, телеком-операторов. ТОП-5 крупнейших IT-компаний России 2015 год основания 8 экспертных центров по разным направлениям разработки ПО 1000+ сотрудников более 1500 выполненных проектов Что для нас важно: Опыт реализации CDC через Debezium для различных баз данных. Настройка топологий Kafka для обеспечения надёжности и отказоустойчивости. Построение пайплайнов в NiFi для интеграции с ksqlDB и Kafka. Создание потоковой аналитики и реализация ETL на основе событийной архитектуры (event-driven architecture). Настройка взаимодействия NiFi с Kafka, REST API, RabbitMQ и другими системами. Технологии:1. Kafka и Debezium Apache Kafka:Знание архитектуры Kafka: брокеры, топики, продюсеры, консюмеры, схемы сообщений. Debezium:Настройка источников данных (PostgreSQL, MongoDB и др.) для CDC через Debezium.Конфигурация Kafka Connect для интеграции с Debezium. 2. KSQL db (ksqlDB) Основы работы с ksqlDB:Написание запросов для потоковой обработки данных (streaming queries).Создание потоков (streams) и таблиц (tables) в ksqlDB. Интеграция с Kafka:Конфигурирование источников данных для анализа потоков в ksqlDB. 3. Apache NiFi Пайплайны данных:Разработка потоков данных (data flows) в NiFi для чтения, преобразования и записи данных.Настройка процессоров для работы с Kafka, базами данных и другими источниками/приемниками. Интеграция систем:Построение пайплайнов для обработки событий в режиме реального времени и пакетной обработки.Обеспечение отказоустойчивости и мониторинга процессов Что мы предлагаем: "Белая заработная" плата в аккредитованной ИТ компании; Оформление по ТК РФ с первого дня; Стабильный доход; График 5/2 полная удаленка или гибрид на твой выбор. Преимущества компании: Возможность "путешествовать" по проектам разных направлений (промка, фин, телеком, агро , медицина, ретейл) в рамках 1 работодателя; Свой собственный институт знаний, позволяющий проходить курсы как в онлайн формате, так и в записи по различным направлениям: разработка, тестирование, аналитика, а также прокачивать soft skills; Ментор. Возможность как быть ментор, так и иметь собственного ментора; ИПР - индивидуальный план развития; Митап - возможность присутствовать на митапов сотрудников, а также возможность проведение собственного митапа с нашей поддержкой; Возможность принять участие в развитии новых направлений компании, с привлечением экспертов и научных деятелей; Можно стать членом команды для участие в различных активностях компании, например организация хакатонов по направлением аналитики , разработки, тестирования, участие в различных выставках и конференциях.Похожие вакансии