Инженер данных (Data Engineer)

Наша компания - АО «Оператор информационной системы» — дочернее предприятие ПАО «Интер РАО», созданное в 2018 году. Сегодня при поддержке Минстроя РФ и Минцифры РФ мы проводим модернизацию ГИС ЖКХ для улучшения качества работы с пользователями. Все изменения заложены в Плане развития (дорожной карте), утвержденной Правительством РФ. Наша команда - профессионалы, которые выполняют амбициозные задачи. В текущую команду ищем Инженера данных (Data Engineer) Обязанности: • Создание, настройка и поддержка ETL и ELT — процессов.• Мониторинг работы аналитического контура ГИС ЖКХ.• Контроль качества данных, очистка данных.• Организация пайплайнов потоков данных.• Разработка и поддержка ВЕБ-сервисов, API и CLI для работы с данными.• Написание SQL запросов к БД.• Написание кода на Python в ETL - инструментах (например, DAG Apache Airflow и пр).• Участие в создании, описании, оптимизации и доработке структур хранения данных.• Участие в администрировании и оптимизации работы используемых СУБД.• Подготовка аналитических материалов в части работы ETL — процессов.• Подготовка предложений по оптимизации и совершенствованию существующих процессов управления данными. Требования: • Глубокие знания и опыт использования таких инструментов инструментов: Apache Kafka, Apache Airflow, Apache Nifi, Debezium• Знание основ построения баз данных (опыт работы с СУБД PostgreSQL, ClickHouse, Greenplum)• Знание основ построения аналитических хранилищ (Data Warehouse)• Уверенные знания SQL• Уверенные знания Python. Опыт работы с библиотеками Pandas, NumPy, SciPy и др.• Опыт работы с ОС Windows и Linux.• Умение работать с любыми источниками данных, в том числе не формализованными, загружать информацию с ВЕБ сайтов, FTP серверов, парсить HTML, XML, загружать данные из MS Excel и пр.• Аналитическое мышление, умение работать с большими объемами данных Будет плюсом: • Опыт работы Pentaho Data Integration, • Опыт работы со Spark, Livi,• Опыт работы с BI - системами. Что мы предлагаем: Работа в офисе (гибрид); Оформление по ТК РФ с первого рабочего дня;Cтабильность и перспективы IT-компании;Бронь от мобилизации;Амбициозные задачи и работу на всероссийском проекте;Полис ДМС, включая стоматологию, и полис выезжающего за границу;Корпоративную мобильную связь;Сильную команду профессиональных и отзывчивых коллег;Возможности обучения и профессионального развития; а также: Лучшие виды на Москву-Сити: находимся на Набережной Т. Шевченко;Транспортную доступность от станций метро: Кутузовская (и Кутузовская МЦК), Студенческая, Киевская;Кухню в офисе со всем необходимым: холодильник, станция самообслуживания Милти, всегда вкусный кофе из собственной кофемашины;Столовые в шаговой доступности от офиса.