Обязанности:
Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных. Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса. Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений. Что нужно делать: Принимать конечные сетевые решения по реализации поставок данных В это входит проектирование схем поставок данных. Выбор подхода к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. Критический взгляд на результат в интересах потребителей данных. Развивать фреймворки обработки данных Применяя существующие инструменты работы с данными выделять их недостатки. Продвигать повестку по их улучшению или поиску новых для более эффективного решения задач. Лидировать реализацию сложных технических поставок Понимая алгоритмическую составляющую инструментов находить эффективные решения в том числе упрощая постановку задачи Мы ждем, что вы: Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов Умеете проектировать DWH: слои, модели хранения данных, процессы ETL Хорошо понимаете принципы работы распроданных систем Hadoop или YTSaurus, ClickHouse Умеете выбирать технологии для решения конкретных задач Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными Имеете опыт работы от 3х лет Имеете работать в командной строке систем Unix-like: Linux, macOS Будет плюсом, если вы: Имеете опыт промышленной разработки на C++ Имеете опыт работы в E-com отрасли Имели опыт решения задач в роли аналитика или опыт управления командой или проектамиПохожие вакансии