Обязанности:
Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных. Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.Задачи: Проектирование структурыВы будете проектировать структуру хранения и обработки данных для новой версии DWH Авто.ру, которая будет создаваться с нуля. Сопровождение процессов наполнения DWH Авто.руВам предстоит сопровождать текущие процессы наполнения DWH Авто.ру, заниматься созданием новых ETL-процессов в условиях изменения стека в сторону опенсорса. Оптимизация процессов поставки данных там, где это требуетсяПри необходимости вы будете погружаться в специфику данных одной или нескольких прикладных бизнес-областей, чтобы как эксперт помогать выявлять критичные аномалии в данных. Мы ждем, что вы: Занимались промышленной разработкой на Python Проектировали DWH: слои, модели хранения данных, ETL/ELT-процессы Разрабатывали ETL-процессы с использованием Apache Airflow для DWH на основе Greenplum Настраивали поставки данных по API Разбираетесь в SQL на уровне эксперта Понимаете устройство и архитектуру реляционных и нереляционных баз данных Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP Знаете основные алгоритмы и структуры данных (особенно те, которые используются в работе с большими данными) Будет плюсом: Работали с системами YT (YTsaurus), ClickHouse, а также с инструментами оркестрации и выполнения процессов от Яндекса Работали с брокерами сообщений Kafka, RabbitMQ и т. д. Умеете работать в командной строке *nix-систем: Linux и macOSПохожие вакансии
Архитектор DWH (Инженер данных)
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Москвариум
От 250 000 руб.
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Арканит
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Группа страховых компаний Югория
Senior DWH Developer (инженер данных)
До 330 000 руб.
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
evrone.ru
Аналитик данных (сопровождение DWH)
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Ростелеком Информационные Технологии
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Деко Системс