Обязанности:
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7. Продукт: Цифровое правосудие - продукт который занимается созданием единой цифровой платформы судов общей юрисдикции города Москвы. Основная задача состоит в автоматизации и модернизации процессов судебного делопроизводства, а также в обеспечении эффективного взаимодействия судов с различными органами исполнительной власти и жителями города.Что нужно делать: проектировать и реализовывать ETL-процессы для извлечения, трансформации и загрузки данных из разнородных источников (SQL/NoSQL СУБД, Kafka, S3, OpenTelemetry и др.) разрабатывать и поддерживать метаданные аналитического хранилища с использованием OpenMetadata (включая кастомизацию системы) внедрять процессы обеспечения качества данных и метаданных (валидация, мониторинг, алертинг) соблюдать стандарты OpenLineage для отслеживания происхождения данных (data lineage) на всех этапах ET проектировать и создавать витрины данных: разрабатывать схемы и представления (views) в PostgreSQL создавать и поддерживать коннекторы к различным источникам данных оптимизировать производительность ETL-процессов и аналитического хранилища интегрировать BI-систему Superset с хранилищем данных (включая кастомизацию) документировать процессы и метаданные в соответствии с корпоративными стандартами Что мы ожидаем: PostgreSQL (опыт проектирования схем данных, работы с представлениями (views), оптимизации запросов, использования расширенных возможностей — оконные функции, CTE, индексы). Apache Airflow (опыт создания DAG, оркестрации ETL‑процессов, мониторинга выполнения задач, работы с XCom и Variables) Kafka (понимание принципов работы шины данных, опыт работы с Kafka Connect, понимание концепций топиков, партиций, offset) SQL (продвинутый уровень: сложные запросы, оконные функции, оптимизация, работа с CTE, понимание планов выполнения запросов) Основы работы с NoSQL‑СУБД (понимание различий моделей данных, опыт извлечения данных из MongoDB, Cassandra или аналогичных систем) Python (уровень продвинутый) OpenMetadata (опыт настройки и кастомизации системы каталогизации, работа с API для автоматической регистрации метаданных) Docker, Kubernetes (опыт контейнеризации ETL‑приложений, развёртывания Airflow/NiFi в кластере) Мы предлагаем: рыночную зарплату и премии драйвовые задачи и ресурсы для их реализации преимущества аккредитованной IT-компании открытая атмосфера, где ценят обратную связь, инициативность, креатив материальную помощь в случае важных событий в жизни корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие комьюнити по интересам скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!Похожие вакансии
Договорная
Москва. Станции метро: Комсомольская, Красносельская
ТПС Недвижимость
ETL-разработчик (Python/Pandas)
Договорная
Москва. Станции метро: Комсомольская, Красносельская
Ритейл Эксперт
Стажер-разработчик DWH/ETL/Big Data
Договорная
Москва. Станции метро: Комсомольская, Красносельская
КРОК
Старший технический писатель (MLS ETL)
Договорная
Москва. Станции метро: Комсомольская, Красносельская
Cloud.ru