Обязанности:
У меня есть вакансия в одну из крупнейших компаний в России. Проект: Feature store для ML. Команда будет отвечать за работу хранилища признаков для ML- модели. Команда: Team Lead, data engineers, back and front developers, QA. Чем предстоит заниматься: Управлять командой; Разработка архитектуры хранилища признаков для моделей машинного обучения; Разработка ETL\ELT на Apache Spark, Apache Spark Structured streaming\Flink; Оптимизировать процессы хранения и обработки данных с использованием современных технологий и подходов; Транслировать бизнес требования\задачи на технические задачи, распределять их в команде. Что ожидаем от тебя: 1. Опыт коммерческой разработки от 5 лет, опыт управления командой от 2-х лет; 2. Опыт работы с Feast, Hopsworks, Tecton или аналогичные (Feature Store); Машинное обучение:- Понимание принципов работы моделей машинного обучения: работа с признаками (feature engineering), валидация данных, подготовка и трансформация данных. 3. Опыт работы с Big Data технологиями:- Уверенное владение инструментами обработки больших данных: Apache Spark, Hadoop, Apache Kafka, HDFS;- Знание фреймворков и библиотек для работы с распределенными вычислениями (Spark MLlib, Dask, Ray);- Опыт с системами потоковой обработки данных\streaming (Apache Flink, Kafka Streams, Flink SQL). База данных:- Глубокие знания работы с NoSQL базами данных (Redis, Taranatool);- Знания реляционных баз данных на больших объемах данных (PostgreSQL). Инженерия данных и API:- Опыт создания API для интеграции Feature Store с другими системами и ML платформами;- Понимание архитектуры распределенных систем и микросервисов. Язык:- Python, Scala. Что готовы предложить: Оформление по ТК РФ: оклад (готовы обсуждать)+ годовой бонус; Компания входит в реестр ИТ компаний; Удаленный формат работы. При желании можно работать в офисе класса А ДМС со стоматологией (с 1 рабочего дня + полис путешественника); Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит-25 тыс. рублей в год). Как мы проводим собеседования: 15-20 минут - общение с рекрутером (tg аудио); 90 минут - техническое интервью; 45 минут - финальная встреча; СБ, 1-3 дня; Оффер, обсуждение даты выхода на работу.Похожие вакансии