other

Data-инженер DWH в Маркет

18 ноября 2024

З/П не указана

Город: Санкт-Петербург

Яндекс

Тип занятости: Полная занятость

Требуемый опыт: Опыт от 1 года

Обязанности:

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных. Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений. Какие задачи вас ждут вести разработку ETL-процессов поставки данных; выявлять неэффективность в существующих процессах и оптимизировать их; проектировать структуру хранения данных; участвовать в развитии фреймворка поставки данных; погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом; сопровождать разработанные процессы ETL. Мы ждём, что вы уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов; знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными. Будет плюсом, если вы проектировали DWH: слои, модели хранения данных, процессы ETL; понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse; имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++; умеете работать в командной строке систем Unix-like: Linux, macOS.

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 120275364

Похожие вакансии

Data инженер (разработчик DWH)

Договорная

Санкт-Петербург

Клевер Солюшнс

Senior Data Engineer (Магнит Маркет)

Договорная

Санкт-Петербург

МАГНИТ, Розничная сеть

Data-инженер

Договорная

Санкт-Петербург

Т-Банк

Data инженер

Договорная

Санкт-Петербург

Газпром нефть

Big Data infrastructure engineer/DWH (Санкт-Петербург)

Договорная

Санкт-Петербург

Lesta Games

Разработчик  DWH / Инженер данных

Договорная

Санкт-Петербург

Многопрофильная клиника Скандинавия. Клиника репродукции Скандинавия АВА-ПЕТЕР