BGStaff IT Recruitment Agency – кадровое IT-агентство. С 2016 года наша команда помогает компаниям находить идеальных IT-специалистов для работы в России и за границей. Наша команда успешно работает как удаленный и сплоченный хаб талантов. Мы будем рады принять тебя в атмосферу нашей команды, где ценят системный подход, взаимоподдержку и результат. Мы уважаем амбициозных, вдумчивых, клиентоориентированных и нестандартно мыслящих специалистов. Наша миссия: Соединять лучшие IT-таланты с теми, кто создает технологии будущего, становясь надежным стратегическим партнером для наших клиентов. Обязанности: Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций; Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище; Разработка и поддержка моделей данных; Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов; Обеспечение качества, тестирование данных и их целостности при миграции и трансформации; Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности; Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени. Требования: Опыт работы с данными; Глубокое понимание реляционных БД: структура данных, методы загрузки и управления; Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД; Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH; Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение; Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем; Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных; Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками; Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований; Навыки создания и поддержки ETL/ELT конвейеров; Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач; Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания; Владение навыками документирования процессов и работы с технической документацией; Практический опыт работы с технологиями: язык программирования: Python объектное хранилище: S3 стриминг данных: Kafka реляционные СУБД: Postgres, MSSQL NoSQL: MongoDB аналитическая СУБД: Clickhouse; Будет плюсом: Знание систем контроля версий (Git), контейнеризации (Docker); Опыт работы на проектах в компаниях финтех. Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt Условия: Обсуждаемую ЗП по вашим навыкам и грейду 100% удаленную работу Оформление по ИП с нашей поддержкой Несколько проектов на выбор Карьерный рост без постоянных поисков работы Как начать:Откликнитесь на вакансиюПройдите собеседование с рекрутеромПопадите на бенч и получайте предложения по проектам
Похожие вакансии