Обязанности:
Интерфакс – это не просто информационный лидер в России, это мощная IT-компания с амбициозными проектами. Наши центры разработки в Москве и регионах создают передовые сервисы, которые помогают тысячам клиентов принимать стратегические решения. Ищем талантливого и опытного специалиста в области разработки ETL-процессов, который присоединится к нашей команде и станет ключевой фигурой в построении и развитии нашего хранилища данных. Основные задачи: * Проектирование структур хранилищ и витрин данных * Разработка процессов ETL поставки данных * Участие в развитии фреймворка поставки данных * Сопровождение разработанных процессов ETL * Выявление неэффективности в существующих процессах и их оптимизация * Участие в найме сотрудников в команду * Участие в улучшении процессов разработки: автоматизация ручной работы, проверка качества кода, формирование мониторинга поставки данных и т.д. Требования: * Уверенное знание SQL: практический опыт на уровне написания сложных запросов и оптимизации запросов * Уверенное знание Python: практический опыт на уровне написания DAG на Apache Airflow и опыт промышленной разработки * Уверенное знание принципов устройства реляционных СУБД (в идеале PostgreSQL): практический опыт (работа с системными таблицами, настройка системных параметров и т.д.) * Знание основных алгоритмов и структур данных, особенно используемых в работе с хранилищами данных * Опыт проектирования DWH: слои, модели хранения данных, процессы ETL Дополнительные преимущества: * Хорошее понимание концепции пакетной обработки данных * Опыт промышленной разработки на Java * Умение работать в командной строке систем Unix-like * Понимание процессов DevOps * Понимание принципов работы хотя бы одной технологии распределённой обработки данных: Hadoop, MapReduce, ClickHouse, Greenplum, MPP Технологический стек: * PostgreSQL: для хранения и обработки данных (возможно, добавятся другие СУБД и распределённые системы) * Apache Airflow: для оркестрации ETL-процессов пакетной загрузки данных (позже может добавиться Apache NiFi) * Python: основной язык (позже может добавиться Java) * Linux и Kubernetes Мы предлагаем: * Возможность работать в гибридном формате. * Офис в шаговой доступности от метро Нахимовский проспект. * Официальное оформление, "белая" заработная плата, ДМС (включая стоматологию). * Тренинги и обучение, участие в профессиональных конференциях и корпоративных мероприятиях.Похожие вакансии