Обязанности:
Мы ищем в команду группу Дата инженеров - в направление аналитики Летуаль (оформление в аккредитованную ИТ компанию Летуаль) Чем предстоит заниматься: Участвовать в проектировании, создании, развертывании и управлении общей архитектуры платформы данных Выстраивать процессы взаимодействия DWH и других компонент экосистемы данных компании Проектировать модели данных детального слоя под бизнес требования с оптимальным хранением данных Разрабатывать процедуры формирования детального слоя данных и слоя витрин Поддерживать текущие автоматизированные регулярные ETL процессы Настраивать поток данных с использованием распределенных систем обмена сообщениями, в частности Kafka Разрабатывать схемы подключения новых источников, включая получение структурированных и неструктурированных данных из различных источников Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных Создавать и улучшать процессы обработки данных Участвовать в проектировании, внедрении и развитии каталога данных Участвовать в развитии процессов Data Governance Документировать свою работу в JIRA/Confluence Мы ожидаем: опыт от 3-х лет в роли Data Engineer знание современных инструментов ETL/ELT, CDC и способов их автоматизации умение извлекать данные из различных источников (БД, логи, сторонние системы и т.п.) умение осуществлять автоматизированный сбор и структурирование информации с сайтов (parsing) при помощи программы/cервиса умение выбирать технологию для хранения данных и их обработки опыт проектирования и внедрения архитектуры хранилища данных с применением практик и технологий Data management, DWH/BI, Big Data и Data streaming понимание смежных технологических областей (инфраструктура, DevOps, DevSecops, Data Science, Cloud native и др.) владение языками программирования (SQL на уровне не ниже Middle, Python, либо другом скриптовом языке программирования) опыт работы с планировщиками задач (MS SQL, Airflow) опыт работы с ClickHouse, PostgreSQL, Google Analytics, BigQuery, Appsflyer опыт работы с микро-сервисной архитектурой опыт работы с очередями и брокерами сообщений Kafka/RabbitMQ опыт работы с BI инструментами MSOLAP/PowerBI/QlikView/различные российские решения Мы предлагаем: Интересные задачи; Уникальную профессиональную команду; Достойный уровень вознаграждения; ДМС после испытательного срока; Работа гибрид или в офисе класса А с потрясающим видом на Москву.Похожие вакансии