Обязанности:
О компании: Мы создаем единую распределенную систему масштаба страны, которая преобразит опыт совершения покупок, а именно позволит "оцифровать" каждую единицу товара уже к 2025 году. Это позволит каждому покупателю быть уверенным в качестве и происхождении товара, а производителям и продавцам - не только уменьшить долю неоригинальной продукции на рынке, но и оптимизировать производственно-логистические процессы и сократить издержки за счет возможностей аналитической подсистемы. Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду. О команде: Данные – это нефть 21 века. Данные «Честного знака» - настоящий «клондайк», глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем поэкземплярно весь товарооборот маркированных товарных групп и на этом строим уникальные показатели. Мы ищем крепкого техлида в bigdata-команду, обладающего экспертными знаниями в области построения систем на базе Hadoop/Spark, способного продумать и реализовать дорожную карту по развитию Озера данных «Честного знака». Технологический стек: Текущий стек команды: Hadoop / S3 MinIO / Spark 3 (batch/streaming) / Scala / SQL / Parquet / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / Zeppelin / Jupyter Смотрим в сторону: Protobuf на замену json / Iceberg для MOR, COW / DBT для «золотого» слоя данных / Cassandra на замену HBase Наши данные в цифрах: поток > 20k RPS, > 600 млрд. фактов, > 6Пб данных в HDFS. Чем предстоит заниматься: Руководить выделенной распределенной командой. Предлагать, отстаивать и реализовывать архитектурные решения. Руководить проектированием, разработкой и внедрением ключевых решений Озера данных с высококачественным образцовым кодом. Внедрение каталога данных, data lineage и бизнес-глоссария. Тесное сотрудничество с другими командами департамента по внедрению разработанных решений. Влияние на стратегию развития архитектуры платформы, руководство исследованиями и разработкой пилотных решений. От успешного кандидата мы ожидаем: Опыт построения хранилищ больших данных. Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop. Опыт работы с реляционными БД. Экспертное знание SQL, уверенное знание Scala. Способность вести талантливых разработчиков к достижению конкретных целей в установленные сроки, а также нанимать и наставлять новых разработчиков. Способность руководить полным циклом процессов разработки программного обеспечения, который включает в себя: планирование, проектирование архитектуры, реализацию кода, тестирование и производственное развертывание. Практический опыт автоматизации ML задач. Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных. Что вам точно понравится: Сложные и интересные задачи, работа с реально большими объемами данных и современным востребованным стеком. Возможность поработать с новыми технологиями и прокачать скиллы, постоянно развиваться. Молодая, экспертная, увлеченная и талантливая команда, у которой можно многому научиться, культура открытости и взаимопомощи. Конкурентная ЗП, оформление по ТК РФ. ДМС со стоматологией после испытательного срока, ДМС для семьи с корпоративными скидками. Страхование жизни и здоровья. Корпоративный психолог. Buddy-поддержка во время адаптации. Обеспечиваем рабочей техникой на базе последних Macos / Windows. Возможность участия в митапах, конференциях. Гибкое начало рабочего дня. Возможность работать удаленно/частично удаленно, в офисе в Москве или Санкт-Петербурге. Корпоративный мерч. “Кафетерий” льгот (возмещение расходов на любое самообразование, спорт, ДМС для членов семьи, доступ к ИТ сервисам и т.д)Похожие вакансии