Мы ищем Middle Data Engineer для реализации амбициозного проекта перехода на новую платформу кампейнига Сбера. Наша задача – обеспечить перевод legacy процессов на современный стек технологий, разработать решения по обработке и доставке данных, создать с 0 процессы загрузки потоков данных для задач аналитики и развить MLOps практику в команде для вывода DS моделей в пром.Обязанности Разрабатывать процессы сборки, обработки и поставки данных в Hadoop на Spark Развивать архитектуру проекта и адаптировать ее под новые требования Собирать и анализировать требования бизнеса по получению новых данных, оценивать наличие и качество данных Проводить системное, функциональное и интеграционное тестирование Разрабатывать и внедрять эффективные методики контроля качества данных Участвовать в code review и создавать инструменты для упрощения своей работы Требования Имеешь опыт разработки на Spark (желательно Spark/Scala) Знаком с инструментами экосистемы Hadoop: Hive, Spark Хорошие знания SQL, опыт оптимизации запросов Общий стаж работы не менее 2 лет Высшее техническое образование Будешь проактивен в работе с внешними и внутренними контрагентами. Будет плюсом: Опыт работы с Kafka Работал с GreenPlum Изучал или внедрял DevOps практики Условия Deep diving в предметную область, много разработки по задачам имеющим прямой эффект на бизнес Возможность привносить новые идеи и нестандартные решения Сообщество D-people– поддержка, развитие и возможность учиться у профессионалов Достойную оплату труда ДМС, сниженные ставки по кредитованию, программы лояльности для сотрудников Современный офис рядом с метро Кутузовская, бесплатный фитнес в офисе.
Похожие вакансии