other

Data engineer (Python Hadoop Spark)

Более недели назад

З/П не указана

Город: Москва

X5 Tech

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 3 лет

Обязанности:

X5 Group - лидер офлайн- и онлайн-рынка продуктов питания. Мы управляем портфелем брендов сетевых магазинов «Пятёрочка», «Перекрёсток», «Чижик», цифровыми бизнесами «Перекрёсток Впрок», 5Post, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров. Х5 Технологии — это отдельная бизнес-единица Х5 Group, которая отвечает за создание комплексных цифровых решений для бизнес-единиц Х5. Наша команда — это 4000+ специалистов по информационным технологиям и большим данным. Мы разрабатываем решения, которые помогают десяткам миллионов людей. Стек: Python 3.5-3.8., Fastapi, Hadoop, PySpark + Airflow. PostgreSQL, Kafka, Kibana, ElasticSearch. Docker, K8s, GitLab. Основные задачи (детальнее расскажем на собеседовании): Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга) Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн Мы сможем рассмотреть на вакансию кандидатов, у которых есть: Опыт работы с Python от 2 лет Опыт с Hadoop, Hive, Spark Знание SQL (чтобы писать и оптимизировать запросы) Знание классических алгоритмов и структур данных Опыт работы с docker (kubernetes, pyspark, airflow и ds фреймворков python– не обязательно, но будет плюсом) Умение пользоваться git'ом и работать в команде Мы предлагаем: Схема мотивации: Fix + 15% квартальный бонус + 5% годовой бонус Удобный офис в Москве или 100% удаленная работа Гибкий график работы Обратная связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала) Возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое Яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья Программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров) Материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию Присоединяйся к одной из самых быстрорастущих цифровых команд России! X5 Group. Создавай новый ритейл

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 117479286

Похожие вакансии

Data Engineer (Hadoop)

Договорная

Москва

Лига Цифровой Экономики

Hadoop Administrator/Data Engineer

Договорная

Москва

Ростелеком

Дата-инженер (Hadoop)/Data Engineer (Hadoop)

Договорная

Москва

СБЕР

Hadoop Engineer

Договорная

Москва

Правительство Москвы

Data Engineer Backend (Python)

Договорная

Москва

Axenix (ранее Accenture)

Ведущий разработчик DWH / data engineer (hadoop)

Договорная

Москва

Группа НЛМК