Обязанности:
Привет! Мы — команда AI‑агентов 2ГИС. Мы делаем агентов для пользователей (B2B и B2C): например, агент в карте или карточке фирмы — отвечает на вопросы, помогает записаться на услуги и решать задачи в диалоге. У нас высокая скорость доставки фичей, короткий релизный цикл и минимум бюрократии — при этом сохраняются плюсы бигтеха. Сейчас мы ищем QA‑лида, который с нуля выстроит систему тестирования и quality‑гейты для AI‑агента, станет владельцем процессов качества и будет “играющим тренером”: не только определять подходы, но и внедрять их в коде/пайплайнах/инструментах. Чем предстоит заниматься Выстроить с нуля систему тестирования и quality gates для AI‑агента и быть владельцем процессов качества в команде. Организовать тестирование на всём цикле разработки: тест требований, функциональное, интеграционное, E2E, регресс. Разрабатывать и поддерживать автотесты на Python для проверки сценариев работы AI‑агента (в т.ч. диалогов, памяти/контекста, вызовов инструментов и интеграций). Готовить тестовые сценарии и данные, поддерживать наборы для регулярных прогонов и контроля регрессий. Проводить нагрузочное/стресс‑тестирование и тестирование деградаций при сбоях внешних API (k6 или аналог). Встраивать проверки качества в CI/CD, обеспечивать стабильность и прозрачность прогонов (отчётность, причины флапающих тестов). Мониторить качество в продакшне: метрики, трейсинг, алертинг, разбор инцидентов качества и улучшение процесса по итогам. Использовать Copilot и внутренние AI‑инструменты для ускорения тестирования и автоматизации рутины. Мы ожидаем Опыт работы в QA от 5-ти лет. Опыт построения процесса тестирования с нуля или существенной перестройки QA‑системы в продуктовой команде. Уверенная практика автотестов на Python (3+ лет) + понимание, где ручное тестирование действительно необходимо и почему. Опыт работы с CI/CD (встраивание тестов, гейтов, отчётности, стабилизация прогонов). Опыт нагрузочного тестирования (k6 или аналоги) и умение интерпретировать результаты. Сильные аналитические навыки: умение формулировать критерии качества, видеть системные риски и закрывать их процессом/инструментами. Будет плюсом Понимание принципов работы LLM: токены, промпты, ограничения контекста. Знание архитектур AI‑агентов: ReAct / Tool Use / RAG / Multi‑Agent. Опыт с LangChain или аналогами. Понимание недетерминированности AI‑систем и способов контроля качества: evaluation‑подходы, стабильность, регрессии на датасетах, метрики. Почему у нас хорошо Сильная QA‑вертикаль и возможность делать “правильно”, а не “как получится”. Аккредитованная IT‑компания, полностью белая зарплата. ДМС, корпоративное обучение. Удалённо или офис: Москва / Санкт‑Петербург / Новосибирск. Поддержка профессионального развития: конференции, тренинги, профильные публикации.Похожие вакансии