Мы – команда разработки DATA решений для Программы Лояльности СберСпасибо. Отвечаем за промышленную обработку данных: Big Data, реальные SLA, живой драйвовый бизнес. Работаем с распределенными системами, строим надежные пайплайны и делаем данные пригодными для аналитики, ML и продуктовых решений. В роли Data Engineer Вы получите опыт работы с настоящими большими данными, современным технологическим стеком, а также сможете влиять на платформу и наблюдать результат своей работы. Обязанности: Проектирование и разработка витрин данных Реализация различных видов интеграционных взаимодействий с внешними системами (онлайн, оффлайн и файловые интеграции) Разработка и внедрение фреймворков и автоматизированных инструментов обработки данных Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин Анализ и устранение проблем производительности Предоставление экспертной поддержки внутренним потребителям по вопросам, связанным с использованием данных Описание фичей, подготовка требований для смежных команд, разработка спецификаций и технической документации Требования: Не менее 2 лет работы в качестве Data Engineer или ETL Developer Отличное знание SQL и современных реляционных/MPP СУБД (на выбор PostgreSQL /Teradata/GreenPlum/etc) Опыт работы с экосистемой Hadoop/Spark Знание языков программирования на выбор Scala/Java/Python Знакомство с архитектурой ПО и математическими алгоритмами Опыт работы с большими объемами данных Опыт промышленной разработки/внедрения и тиражирования решений по работе с данными (хранилища, витрины)
Похожие вакансии