Обязанности:
О компании и проекте Яндекс развивает большую языковую модель Alice AI LLM. Наша цель — сделать Алису лучшим ассистентом в России: чтобы она ежедневно помогала пользователям в учёбе и работе. Сейчас фокус — на повышении качества ответов в сфере образования для школьников (по математике, русскому и английскому языкам, истории, литературе, физике, биологии и др.). Что предстоит делать Вы будете работать в роли «играющего тренера» (50 % — руководство командой аналитиков‑разработчиков, 50 % — решение прикладных задач): Создавать метрики качества модели: формулировать критерии, экспериментировать с подходами (бенчмарки, LLM‑as‑a‑judge, краудсорсинг, AI‑тренеры), внедрять стабильные метрики. Анализировать проблемные срезы: находить слабые места модели, совместно с разработкой планировать решения, готовить данные для обучения, оценивать эффективность изменений. Собирать и контролировать данные: искать качественные источники инстрактов, выявлять проблемы в данных, формулировать и отслеживать критерии эталонных ответов. Взаимодействовать с командами разработки и продукта. Участвовать в обсуждении тактических и стратегических целей направления. Мы ждём, что вы Руководили аналитиками или выступали ментором. Работали над метриками в ML‑проектах. Уверенно владеете SQL и Python. Умеете анализировать текстовые данные и выстраивать процессы их обработки. Знаете теорию вероятностей и математическую статистику. Самостоятельны и готовы решать нестандартные задачи. Интересуетесь развитием LLM и хотите в этом развиваться. Будет плюсом Опыт работы с LLM. Опыт работы с Толокой или другими краудсорс‑платформами.Похожие вакансии
Договорная
Москва. Станции метро: Театральная, Охотный ряд, Библиотека им.Ленина
Звук
Старший продуктовый аналитик в Поиск
Договорная
Москва. Станции метро: Театральная, Охотный ряд, Библиотека им.Ленина
HeadHunter
Лид-менеджер В2В (поиск контактов ЛПР/ переписки)
От 110 000 до 150 000 руб.
Москва. Станции метро: Театральная, Охотный ряд, Библиотека им.Ленина
xHuman Sales
Лид команды аналитики/ведущий аналитик
Договорная
Москва. Станции метро: Театральная, Охотный ряд, Библиотека им.Ленина
Комс
Старший продуктовый аналитик (Поиск, рекомендательные системы)
Договорная
Москва. Станции метро: Театральная, Охотный ряд, Библиотека им.Ленина
Ecom.tech
От 60 000 руб.
Москва. Станции метро: Театральная, Охотный ряд, Библиотека им.Ленина
Кодлокс