Обязанности:
Мы в поиске Инженера по работе с большими данными в направление дата инжиниринга, который будет участвовать в значимых для инфраструктуры данных в Lamoda проектах. Наш стек: Spark 3.3, Spark streaming (structured/direct), Airflow v2.7.3, hive, trino 436 Чем предстоит заниматься: Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения; Проектировать и разрабатывать ETL пайплайны на Airflow для Spark, Streaming, Hive, Trino etl; Оптимизировать действующие пайплайны и джобы на Spark - мониторить с помощью Graphana и Prometheus нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать; Обеспечивать качество данных в разных системах, проектировать платформу Data Quality - предоставлять заказчикам данных платформу quality чеков, мониторинга и алертинга о текущем состоянии данных; Взаимодействовать с продуктовыми аналитиками, оптимизировать сложные SQL запросы, формировать культуру работы с данными; Анализировать и внедрять инструменты инжиниринга данных. Мы ожидаем: Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive); Опыт работы в Spark; Опыт работы с одним из языков программирования (Python, Scala, Java) Опыт написания юнит/интеграционных тестов; Хорошее понимание СУБД, SQL; Страсть к инженерным наукам и информатике вокруг данных. Как плюс: Опыт работы с Docker; Опыт работы с Kubernetes; Опыт написания CI/CD пайплайнов; Опыт работы с Kafka.Похожие вакансии