Data Engineer/Старший инженер данных

Обязанности: Разрабатывать платформу данных (Spark на Kubernetes c хранением в S3-совместимое хранилище, Clickhouse, Postgres) с использованием Spark/PySpark, Kafka, Airflow, SQL, Python, Scala/Java; Организовывать конвейеры потоков данных для ML, сервисов data-продуктов (включая Near Real-time режим); Строить витрину событий для сервисов целевого маркетинга и для ML; Работать с различными базами, API и платформами данных; Парсить JSON-файлы, работать с гео-слоями; Развиваться в части архитектуры и разработки для тестирования и выбора оптимальной реализации дата-продуктов; Участвовать в разработке процесса управления релизными циклами; Профилировать данные, проводить очистку от дублей и ошибок, разрабатывать контроли по интеграциям; Разрабатывает детальный слой данных для витрин оптимальную с точки зрения быстродействия и комбинируемости с другими сущностями детального слоя с использованием Spark/PySpark, Kafka, Airflow, SQL, Python; Интегрировать платформу данных с источниками данных (Kafka, СУБД, файлы) по регламенту; Участвовать в разработке процесса управления релизными циклами. Требования: Хорошее знание Spark, желание работать со Scala и какой-либо промышленной СУБД, профессиональное владение SQL; Опыт в проектах построения корпоративных хранилищ данных; Умение писать и разбираться в коде Python/Java/Scala/Spark/PySpark/Airflow Знакомство с NoSQL базами данных; Условия: Много сложных и интересных задач, решение которых приносит пользу миллионам:40% рынка пользуются нашими кассами, 50% — облачными технологиями, 20% — софтом Работу в яркой команде, в которой каждый может влиять на процесс и результат Рост и развитие в среде профессионалов, опыт которых бесценен, и индивидуальные программы обучения от лучших провайдеров рынка Классный, современный и уютный офис в шаговой доступности от метро «Алексеевская», в котором есть место и для работы, и для отдыха Удобный график работы: время начала и окончания рабочего дня, возможность удалённой работы вы обсудите с руководителем В наш пакет ДМС включена стоматология, вызов врача на дом, консультации психолога и полис путешественника, также можно застраховать родственников (и взрослых, и детей) по льготному тарифу компании, а ещё мы страхуем жизни сотрудников от несчастного случая Корпоративная скидка на спорт и изучение английского языка Предоставляем материальную помощь в трудных жизненных ситуациях 3 day off, выходные дни по случаю (1 сентября, регистрация брака и пр.) Доплата по больничному листу до 100% оклада согласно внутренней политике компании Обеспечиваем необходимой техникой для работы (ноутбук, монитор и пр.)Более подробную информацию о компании и корпоративной культуре вы можете найти на нашем карьерном сайте career.atol.ru