Обязанности:
Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline. Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark. Вам предстоит: Проектирование и разработка витрин данных для анализа и моделирования; Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных; Изучение способов повышения качества и надёжности данных; Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python; Поддержка и развитие базы знаний. Мы ожидаем: Обязательный стек, с которым ты работал: Hadoop, Spark (Pyspark) Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH. Умеешь программировать на Python. Знаком с командной строкой Unix-систем. Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент. Работал с Airflow Хорошо представляешь, как работает e-com. Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.Похожие вакансии