Обязанности:
Мы команда в Ozon Tech, которая занимается автоматизацией коммуникаций с нашими пользователями. Основное направление работы команды «Модели оценки качества работы ботов» - разработка офлайн и реалтайм решений вокруг процессов оценки ML-моделей. В списке наших проектов: Агенты для консультации пользователей. ML-решения для RAG-платформы (эмбеддеры, ретриверы, LLM). Ряд текстовых ботов, определяющих намерения клиентов (классификаторы, LLM). ML-решения для платформы текстовой аналитики (тренды обращений, семантический поиск, кластеризация, генерация). Помощники операторов (векторный поиск, классификаторы, LLM). Наш стек: Python, asyncio, Pytorch, Transformers, Triton Inference Server, vllm, gRPC, Git, CI/CD , SQL, S3, Redis, Clickhouse, Kafka Вам предстоит: Погрузиться в особенности создания наших проектов. Стать частью центра принятия решений о релизе моделей. Создавать и улучшать процессы вокруг оценки ML-решений. Проводить аудит поведения всех типов моделей отдела. Заботиться о качестве артефактов для построения и оценки моделей. Работать с LLM и LLM apps. Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем. Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами). Прототипировать ML-решения для проверки гипотез о влиянии на метрики. Задавать стандарты в оценке поведения и качества ответов агентов. Мы ожидаем: Опыт работы Data Scientist от 3х лет. Опыт работы с NLP от 2 лет. Практический опыт проведения процедур оценки LLM-решений. Опыт работы с агентами для консультации пользователей. Понимание ограничений LLM. Умение писать продакшн-код. Подготовка понятных отчетов. Умение объяснить сложные метрики понятным языком. Будет преимуществом: Опыт в аудите ML-решений. Опыт разработки агентских систем. Опыт в постановки заданий на разметку асессорам и приемка результатов.Похожие вакансии
От 90 000 до 150 000 руб.
Москва
Codemate Team (ИП Дегтярев Михаил Алексеевич)