Обязанности:
Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer в команду Data Management бизнес-сегмента Pet Nutrition. Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета. Мы используем современные подходы и технологический стек: Python, SQL, PySpark, Kafka, YCP, Airflow, NiFi, S3, Power BI, Yandex DataLens, Apache SuperSet. Вы будете: Разрабатывать витрины данных; Интегрировать новые источники данных в DataLake; Обрабатывать потоковые данные (streaming); Контролировать качество загружаемых данных; Проводить код ревью Отвечать за оптимизацию, рефакторинг и поддержку решений Мы ожидаем: Понимание работы СУБД и принципов построения хранилищ данных; Опыт работы с Hadoop (Spark, HDFS, YARN etc.); Отличное знание SQL, Python/Scala/Java; 1+ опыт работы с облачными платформами Yandex Cloud Platform/ Azure/ AWS; Будет плюсом знания Nifi, Kafka, Airflow; Английский на уровне intermediate и выше Опыт работы с Docker, Kubernetes Знание Git Условия: Работа в команде профессионалов в одной из крупнейших FMCG компаний. Официальное трудоустройство по ТК. Полностью белая заработная плата. Удаленная работа.Похожие вакансии