other

Senior Data Engineer (Магнит Маркет)

Более недели назад

З/П не указана

Город: Санкт-Петербург

МАГНИТ, Розничная сеть

Тип занятости: Полная занятость

Требуемый опыт: Опыт от 1 года

Обязанности:

Привет! Мы в поисках Senior Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета. Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express — и собственной офлайн-инфраструктуры. Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality. Наша команда - это 5 дата инженеров + аналитик. Наш стек: Greenplum и Clickhouse как DWH; Airflow как оркестратор задач; Python для дагов и операторов в AF; Debezium как CDC; Yandex Cloud как место работы всех наших сервисов; DBT как основа дата каталога и шаблонизатор SQL. Чем ты будешь заниматься: В первые три месяца Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений; Осваиваться в предметной области данных; Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности. Когда освоишься Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования; Развивать модель данных; Рефакторить текущие процессы, предлагать лучшие практики работы с данными; Самостоятельно вести проекты, нужные бизнесу; Декомпозировать их до понятных технических задач. Мы ожидаем: Опыт в Greenplum и/или ClickHouse; Знания особенностей MPP систем; Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса); Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников; Понимание принципов работы Airflow. Мы предлагаем: Интересный сложный продукт с большим количеством пользователей; Оформление в аккредитованную ИТ-компанию; Конкурентоспособную заработную плату (обсуждается индивидуально); ДМС со стоматологией; Технику для работы; Наличие корпоративных скидок PRIMEZONE (товары, рестораны, фитнес и тд), программ лояльности, корпоративной библиотеки, курсов; Удаленка, либо у нас есть уютные офисы в Москве, СПб, Краснодаре или Иннополисе :)

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 124049892

Похожие вакансии

Senior Data Engineer

Договорная

Санкт-Петербург

Оператор Газпром ИД

Senior Data Engineer

Договорная

Санкт-Петербург

Яндекс

Senior Data Engineer

Договорная

Санкт-Петербург

Криптонит

Senior Data Engineer

Договорная

Санкт-Петербург

BI Consult

Senior Data Engineer

Договорная

Санкт-Петербург

Честный знак.рф

Middle/Senior ML Engineer (Магнит Маркет)

Договорная

Санкт-Петербург

МАГНИТ, Розничная сеть