other

Senior Data Engineer (Магнит Маркет)

Более недели назад

З/П не указана

Город: Краснодар

МАГНИТ, Розничная сеть

Тип занятости: Полная занятость

Требуемый опыт: Опыт от 1 года

Обязанности:

Привет! Мы в поисках Senior Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета. Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express — и собственной офлайн-инфраструктуры. Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality. Наша команда - это 5 дата инженеров + аналитик. Наш стек: Greenplum и Clickhouse как DWH; Airflow как оркестратор задач; Python для дагов и операторов в AF; Debezium как CDC; Yandex Cloud как место работы всех наших сервисов; DBT как основа дата каталога и шаблонизатор SQL. Чем ты будешь заниматься: В первые три месяца Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений; Осваиваться в предметной области данных; Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности. Когда освоишься Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования; Развивать модель данных; Рефакторить текущие процессы, предлагать лучшие практики работы с данными; Самостоятельно вести проекты, нужные бизнесу; Декомпозировать их до понятных технических задач. Мы ожидаем: Опыт в Greenplum и/или ClickHouse; Знания особенностей MPP систем; Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса); Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников; Понимание принципов работы Airflow. Мы предлагаем: Интересный сложный продукт с большим количеством пользователей; Оформление в аккредитованную ИТ-компанию; Конкурентоспособную заработную плату (обсуждается индивидуально); ДМС со стоматологией; Технику для работы; Наличие корпоративных скидок PRIMEZONE (товары, рестораны, фитнес и тд), программ лояльности, корпоративной библиотеки, курсов; Удаленка, либо у нас есть уютные офисы в Москве, СПб, Краснодаре или Иннополисе :)

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 124035883

Похожие вакансии

Senior Data Engineer

Договорная

Краснодар

Криптонит

Data Engineer

Договорная

Краснодар

Т-Банк

Senior Data Scientist (Промо Прогноз)

Договорная

Краснодар

МАГНИТ, Розничная сеть

Senior QA engineer (Старший тестировщик)

Договорная

Краснодар

RedLab

Data инженер

От 240 000 руб.

Краснодар

Алабуга, ОЭЗ ППТ

Курьер Маркет Деливери

До 120 000 руб.

Краснодар

Маркет Деливери