Обязанности:
Чтобы не терять в качестве, нам очень важно быстро и правильно анализировать поток задач пользователей, понимать качество всех процессов и моделей и готовить редакторские датасеты с командами Крауда. Ищем аналитика-разработчика, который выстроит эти процессы и соберёт небольшую команду специалистов. Мы внедряем ML в Яндекс Браузер и создаём новые технологические продукты, в том числе для B2B-рынка. Вот что мы запустили в последний год: Нейробраузер Пересказ статей в Браузере Пересказ видео в Браузере Небольшое выступление Какие задачи вас ждут Создавать метрики качества и датасеты для обучения ML-моделейМы дообучаем большую LLM YandexGPT-3 под целый ряд задач. По нашему опыту, чтобы получить качественную модель — важнее всего иметь хороший бенчмарк качества и чистый датасет. Именно возможность быстро оценивать качество модели позволяет ML-команде много экспериментировать и двигаться в нужном направлении. Эти разметки используются не только для оценки качества, но и для получения датасетов, в том числе для обучения в режимах reinforcement learning. Так что любое изменение в этих процессах может влиять на то, как модель отвечает пользователям. Проверять гипотезы, проводить А/В-эксперименты и офлайн-замеры качестваУ нас много идей, как улучшить наши процессы. Кроме этого, надо быстро докатывать улучшения до пользователей. Очень важно выстроить процесс качественного тестирования перед продакшеном и при этом сохранить темп. Анализировать точки ростаИзучать онлайн-сигналы и аспекты качества и на их основе определять точки роста моделей. Превращать эту аналитику в задачи и направления улучшения в ML и продуктовой команде. Мы ждём, что вы Готовы не только быть лидом, но и самостоятельно работать руками Знаете теорию вероятностей и математическую статистику Глубоко владеете SQL, Python, умеете в логи и процессы работы с данными Работали в ML-проектах: с NLP, crowdsource-разметками и ML Умеете писать аналитический продакшен-код и создавать сложные метрики на основе разметок Можете превратить видение продукта или проекта в иерархию метрик Способны управлять командой аналитиков, поддержки разметок, редакторов, асессоров для контроля качества данных Умеете анализировать данные, строили эффективные процессы их обработки Интересуетесь развитием LLM и их продакшен-применением Что мы предлагаем Работу в сильной команде, с которой можно расти Сложные задачи для сервисов с миллионами пользователей Возможность влиять на процесс и результат Зарплату на уровне рынка и выше Премии каждые полгода для всех, кто успешно прошёл ревью Расширенную программу ДМС, оплату 80% стоимости ДМС для супругов и детей Гибкий график работыПохожие вакансии