Обязанности:
Обязательные требования: - Опыт работы с данными не менее 4 лет (middle+), 6 лет (senior);- Глубокое понимание реляционных БД: структура данных, методы загрузки и управления;- Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД;- Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH;- Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение;- Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем;- Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных;- Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками;- Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований;- Навыки создания и поддержки ETL/ELT конвейеров;- Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt (❗️);- Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач;- Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания;- Владение навыками документирования процессов и работы с технической документацией; ❗️ Практический опыт работы с технологиями:- язык программирования: Python- объектное хранилище: S3- стриминг данных: Kafka- реляционные СУБД: Postgres, MSSQL- NoSQL: MongoDB- аналитическая СУБД: Clickhouse; Будет плюсом:- Знание систем контроля версий (Git), контейнеризации (Docker);- Опыт работы на проектах в компаниях финтех. Soft-skills:- Способность работать в кросс-функциональной команде- Понимание бизнес-задач- Внимательность к деталям и ответственность за результат- Способность четко формулировать мысли- Умение расставлять приоритеты- Самоорганизация и проактивность в решении технических и организационных вопросов Задачи: - Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций; (хорошо, если будут задачи у специалиста с работой по легаси)- Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище;- Разработка и поддержка моделей данных и трансформаций в dbt для формирования конечных витрин;- Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов; (хорошо, чтобы было расписано, что делал в airflow)- Обеспечение качества, тестирование данных и их целостности при миграции и трансформации;- Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности;- Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени.Похожие вакансии