other

Data engineer (Python Hadoop Spark)

Более недели назад

З/П не указана

Город: Москва

X5 Tech

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 3 лет

Обязанности:

X5 Group - лидер офлайн- и онлайн-рынка продуктов питания. Мы управляем портфелем брендов сетевых магазинов «Пятёрочка», «Перекрёсток», «Чижик», цифровыми бизнесами «Перекрёсток Впрок», 5Post, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров. Х5 Технологии — это отдельная бизнес-единица Х5 Group, которая отвечает за создание комплексных цифровых решений для бизнес-единиц Х5. Наша команда — это 4000+ специалистов по информационным технологиям и большим данным. Мы разрабатываем решения, которые помогают десяткам миллионов людей. Стек: Python 3.5-3.8., Fastapi, Hadoop, PySpark + Airflow. PostgreSQL, Kafka, Kibana, ElasticSearch. Docker, K8s, GitLab. Основные задачи (детальнее расскажем на собеседовании): Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга) Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн Мы сможем рассмотреть на вакансию кандидатов, у которых есть: Опыт работы с Python от 2 лет Опыт с Hadoop, Hive, Spark Знание SQL (чтобы писать и оптимизировать запросы) Знание классических алгоритмов и структур данных Опыт работы с docker (kubernetes, pyspark, airflow и ds фреймворков python– не обязательно, но будет плюсом) Умение пользоваться git'ом и работать в команде Мы предлагаем: Схема мотивации: Fix + 15% квартальный бонус + 5% годовой бонус Удобный офис в Москве или 100% удаленная работа Гибкий график работы Обратная связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала) Возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое Яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья Программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров) Материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию Присоединяйся к одной из самых быстрорастущих цифровых команд России! X5 Group. Создавай новый ритейл

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 124667035

Похожие вакансии

Data engineer (Hadoop)

Договорная

Москва

Неофлекс

Data Engineer\Разработчик Hadoop

Договорная

Москва

Ventra

Data Engineer (Hadoop разработчик)

Договорная

Москва

Selecty

Python Data Engineer

До 396 000 руб.

Москва

АНО Проектный офис по Развитию Туризма и Гостеприимства Москвы

Hadoop Engineer

Договорная

Москва

Правительство Москвы

Разработчик Python/Spark

Договорная

Москва

Т1