Обязанности:
Мы — команда инженеров и датасаентистов в крупнейшем маркетплейсе с миллионами пользователей, хайлоадом и бигдатой. Нас знают все. В связи с активным ростом проекта, находимся в поиске Data Engineer в одну из команд Поискового движка. Задачи: - разработка витрин данных для аналитиков: сбор требований и реализация; - автоматизация контроля качества и полноты данных; - интеграция новых источников данных; - оптимизация запросов и процессов трансформации данных. Требования: - уверенное владение Python, SQL, Airflow; - опыт работы с БД: SQL (PostgreSQL, Greenplum) / NoSQL (Clickhouse); - опыт в моделировании данных; - умение организовывать ETL-процессы; - умение оптимизировать запросы; - опыт работы с большими объёмами данных; - знание Docker/k8s и команд консоли unix. Желательно: - Опыт с DBT, Kafka.Похожие вакансии