Инженер по автоматизированному тестированию (Python)

Мы - команда кластера Технологии развития бизнеса, которая отвечает за направление AI функциональности. Наша задача - построить мультиагентную систему, которая сопровождает будущих предпринимателей от идеи до полноценной регистрации бизнеса. Ваша задача — обеспечить надёжность, точность и безопасность работы этого конвейера от разработки до продакшена.. Вместе мы меняем привычные процессы и разрабатываем принципиально новые продукты и решения. Мы ищем проактивного, ответственного и инициативного QA, который сможет выстроить взаимоотношения с командой и смежными подразделениями для достижения целей. Это отличный шанс проявить себя и стать частью перспективного проекта. Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным! Обязанности Тестировать агентов и сценарии Разрабатывать и поддерживать тест-кейсы для проверки функциональности, логики и поведения каждого AI-агента системы Тестировать диалоговые сценарии онбординга: от первого вопроса до финального шага регистрации бизнеса Проводить регрессионное, интеграционное и end-to-end тестирование всего пайплайна агентов Валидировать качество ответов агентов: релевантность, точность, безопасность, отсутствие галлюцинаций Оценивать качество LLM-ответов Выстраивать evaluation-фреймворки: exact match, semantic similarity, LLM-as-judge, BLEU/ROUGE/BERTScore Верифицировать корректность tool-calling, planner-executor loops, межагентных handoff-ов Валидировать state management, context windows и memory-компоненты агентов Создавать автоматизированные тесты для API-интерфейсов агентов, бизнес-логики и UI (если есть) Интегрировать тесты в CI/CD-пайплайн Разрабатывать reusable тестовые артефакты: scenario configs, synthetic datasets, prompt libraries Реализовывать chaos-сценарии: degraded API, latency spikes, failover Отслеживать SLO по латентности LLM-вызовов и инструментов агентов Анализировать логи, метрики и паттерны ошибок для выявления системных проблем Документировать баги, тест-планы и отчёты о качестве в Jira/Confluence Готовить сводные отчёты по каждому релизу с go/no-go рекомендацией. Требования Опыт тестирования от 2 лет, включая автоматизированное тестирование Понимание принципов работы LLM и AI-агентов: RAG, tool use, memory, оркестрация Знание Python — написание тест-харнессов, скриптов автоматизации, работа с API Знание методологий тестирования: функциональное, интеграционное, регрессионное, E2E Опыт работы с REST API: написание и отладка API-тестов Знание SQL — проверка данных, валидация состояний в БД. Условия комфортный современный офис рядом с м. Кутузовская проспект ежегодный пересмотр зарплаты и годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь руководителя на старте расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.