Обязанности:
Сейчас мы расширяем команду Trust and Safety и ищем дата-аналитика (data analyst) в стрим AI Safety, который поможет развивать безопасное и качественное использование LLM и AI-ассистентов в компании. В этой роли фокус будет на данных и продуктовой аналитике: анализе пользовательских сценариев, качества ответов LLM, эффективности фильтров и guardrails, поиске проблемных паттернов, проверке гипотез и построении метрик для AI Safety-направления. Вам предстоит: Анализировать запросы и ответы LLM/AI-ассистентов: пользовательские сценарии, ошибки, спорные кейсы, частотные паттерны; строить и развивать метрики качества и безопасности AI-сервисов; исследовать эффективность guardrails, фильтров, классификаторов и других механизмов проверки запросов/ответов; формулировать гипотезы по улучшению пользовательского опыта и безопасности AI-сценариев; готовить дашборды, отчеты и аналитические выводы для продуктовых, ML/DS, ИБ и инженерных команд; участвовать в оценке качества внутренних AI-ассистентов и AI-агентов для задач ИБ; помогать команде принимать решения: какие проверки дорабатывать, какие сценарии автоматизировать, где нужен ручной review или дополнительная разметка. Вы нам подходите, если: У вас есть опыт работы аналитиком от 2х лет; вы уверенно владеете SQL и Python для анализа данных; вы умеете проводить исследования, проверять гипотезы и превращать данные в понятные выводы; у вас есть опыт работы с неидеальными данными: логами, текстовыми событиями, ручной разметкой, спорными кейсами.Похожие вакансии