Мы — команда по работе с данными и аналитикой ИИ-помощника Сбера. Отвечаем за то, чтобы качество генеративных моделей измерялось честно и воспроизводимо, модели дообучались под продуктовые задачи, а продуктовые и бизнес-решения принимались на данных: метрики, эксперименты, бенчмарки, human evaluation и инфраструктура, которая помогает командам быстрее находить ответы. Мы ищем лидера с сильным исследовательским и ML-бэкграундом, который построит систему оценки качества GenAI на уровне лучших практик индустрии и сам организует процесс дообучения моделей: SFT, DPO, RL. В скоуп роли также входит руководство функцией продуктовой аналитики. Нам важен играющий тренер: задаёт методологию, растит лидов и при этом сам погружается в самые сложные задачи. Наша амбиция — собрать лучшую в стране команду на стыке качества моделей и дата-аналитики, и эту команду предстоит достраивать вам.Обязанности Построение целостной системы оценки качества ИИ-помощника: дерево метрик качества, целевые бенчмарки, side-by-side (SBS) сравнения с конкурирующими ассистентами, human evaluation и LLM-as-a-judge — с пониманием ограничений каждого метода и того, как они дополняют друг друга. Организация процесса дообучения моделей под продуктовые задачи: SFT, DPO и RL — от постановки задачи и подготовки датасетов (включая preference-данные из human feedback) до обучения, оценки и критериев допуска в прод; выстраивание воспроизводимого пайплайна, которым команда пользуется самостоятельно. Развитие эвал-платформы: замкнутый цикл «метрика → эвал → обучение/проверка → quality gate» как обязательный шаг допуска изменений модели и скиллов в продукт. Организация процессов человеческой оценки и разметки: экспертная и краудсорсинговая разметка, AI-тренеры, стандарты заданий, калибровка и контроль согласованности оценщиков. Руководство функцией через тимлидов трёх команд: ML/DS, продуктовая аналитика и AI-платформа (команды по ~5 человек); найм и развитие лидов, целеполагание, распределение приоритетов между продуктовыми доменами. Контроль функции продуктовой аналитики: единый слой продуктовых метрик, A/B на потоке, мониторинги ключевых метрик; квартальный и годовой roadmap аналитики, согласование стратегических развилок с владельцами продукта, платформы и данных. Представление решений аналитики на уровне C-level; развитие стандартов профессии и публичное представление команды — конференции, статьи Требования Опыт руководства data science / аналитическими командами через тимлидов (от 10–15 человек), включая найм, развитие и калибровку лидов. Глубокая экспертиза в оценке качества LLM/GenAI: построение метрик качества, работа с бенчмарками и аренами (и понимание их ограничений), организация human evaluation, model-as-a-judge, специализированные evaluation-датасеты. Практический опыт дообучения LLM: SFT, DPO/preference-тюнинг, RL (RLHF/RLVR), адаптеры — на уровне, позволяющем самому организовать процесс end-to-end: данные, обучение, оценка, допуск в прод Понимание жизненного цикла моделей в продукте: связь обучающих данных с целевыми метриками качества, контроль деградаций и регрессий. Уверенное владение статистикой, A/B-тестами и продуктовыми метриками. AI-native подход: реальный опыт интеграции LLM и агентов в аналитические процессы команды. Готовность к высокому темпу: частые срочные запросы от продукта, оперативное погружение в верхнеуровневые задачи. Условия ● Комфортный современный офис рядом с м. Кутузовская ● Ежегодный пересмотр зарплаты, годовая премия ● Корпоративный спортзал и зоны отдыха ● Система обучения для профессионального и карьерного развития ● Расширенный полис ДМС с первого дня работы и страхование для семьи ● Льготная программа ипотеки для сотрудников ● Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров ● Вознаграждение за рекомендацию друзей в команду Сбера
Похожие вакансии