Обязанности:
Основные задачи Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных Взаимодействие с BI разработчиками и аналитиками Мы ожидаем Опыт работы с PostgreSQL как источником данных для ELT (понимание OLTP-структуры, извлечение без нагрузки на прод, работа с репликацией/CDC) Глубокое знание ClickHouse: архитектура и внутреннее устройство (движки, партиционирование, репликация, шардирование), оптимизация запросов и производительности Опыт разработки на Python: ELT-пайплайны и DAG'и Airflow, проектирование архитектуры сервисов, разработка внутренних фреймворков и инструментов Уверенное знание SQL и опыт оптимизации запросов Понимание принципов построения DWH Опыт работы с dbt Уверенное владение Linux, Docker, Git, CI/CD +100 к резюме Опыт работы с Kafka Опыт настройки и поддержки CDC Опыт работы с S3 Опыт работы с облачной инфраструктурой: виртуальные машины, сети, сетевые диски, бэкапы, IAM; опыт работы с Terraform Опыт работы с Data Lake архитектурой (Trino, Spark, форматы Parquet, Iceberg) Навыки администрирования ClickHouseПохожие вакансии
Договорная
Санкт-Петербург. Станции метро: Волковская, Фрунзенская, Электросила, Московские ворота
Koronatech
Договорная
Санкт-Петербург. Станции метро: Волковская, Фрунзенская, Электросила, Московские ворота
BI Consult
Договорная
Санкт-Петербург. Станции метро: Волковская, Фрунзенская, Электросила, Московские ворота
ГЕРОФАРМ
Договорная
Санкт-Петербург. Станции метро: Волковская, Фрунзенская, Электросила, Московские ворота
Петрович-Тех
От 157 500 руб.
Санкт-Петербург. Станции метро: Волковская, Фрунзенская, Электросила, Московские ворота
Алабуга, ОЭЗ ППТ
Договорная
Санкт-Петербург. Станции метро: Волковская, Фрунзенская, Электросила, Московские ворота
Криптонит