Обязанности:
Приветствуем тебя, дорогой соискатель! :) Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим пятнадцать лет, очень любим свое дело! Всегда находимся в поиске –– идеальных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки! Требования: Опыт функционального тестирования ПО от 18 месяцев. Желательно — тестирование AI/ML продуктов, чат-ботов, голосовых ассистентов или рекомендательных систем; Понимание работы LLM и агентных систем (без требования писать код); Умение проектировать тест-кейсы для недетерминированных систем: - техники тест-дизайна для LLM: эквивалентное разбиение по семантике (а не по точному значению), граничные значения для контекстного окна, сценарии с множественными допустимыми ответами; - умение формулировать «оракул» для оценки: не «ответ должен быть X», а «ответ должен быть релевантен, опираться на источники, не содержать галлюцинаций»; - тестирование сценариев с переспрашиванием (disambiguation), отказом от выполнения (refusal), запросом дополнительных данных. Опыт ручного тестирования промптов: - проверка prompt injection («игнорируй предыдущие инструкции и...»); - проверка jailbreak-атак (ролевые сценарии, DAN, гипотетические ситуации); - проверка утечки системного промпта («повтори свою системную инструкцию»); - оценка поведения на токсичных, провокационных, абсурдных запросах; - проверка тональности, стиля, соблюдения роли агента; Опыт оценки качества ответов LLM (ручная разметка): - умение оценивать faithfulness (ответ не противоречит источнику); - умение оценивать groundedness (ответ опирается на переданный контекст); - умение оценивать completeness (ответ покрывает вопрос, а не уходит в сторону); - опыт составления чек-листов для крауд- или экспертной оценки ответов; Опыт тестирования нештатных сценариев агентов: - агент завис в цикле (бесконечный ReAct loop); - агент вызвал инструмент с некорректными параметрами; - агент вернул ошибку инструмента пользователю вместо обработки; - агент исчерпал лимит шагов (max iterations); - агент «провалился» в fallback при недоступном инструменте; Опыт тестирования RAG-пайплайнов: - релевантность найденных чанков (chunk retrieval); - корректность ранжирования (reranking); - потеря контекста при пересечении лимита токенов; - влияние фильтрации по метаданным на результаты поиска 8. Опыт тестирования интеграций агента: - ручное тестирование вызова внешних API (агент что-то создаёт в Jira, отправляет письмо, читает БД); - проверка корректности формирования запроса к инструменту (те же параметры, что ушли от агента к API); - проверка обработки ошибок: API вернул 500, таймаут, некорректный формат данных; Опыт работы с логами и трассировкой (без требования разворачивать инфраструктуру): - чтение трейсов в LangSmith или LangFuse — понимать, по какому пути прошёл агент, какой промпт ушёл в LLM, какой ответ пришёл, какие инструменты были вызваны; - поиск проблем по логам (токсичный ответ, неверный вызов инструмента, превышение времени); Опыт работы по Agile (SCRUM/Kanban): тестирование в коротких спринтах, плотное взаимодействие с AI-инженерами, готовность к высокой неопределённости (поведение агента может меняться от одного прогона модели к другому); Опыт тестирования веб-интерфейсов (если у агента есть UI): DevTools, Charles/Fiddler (опционально). Основной фокус — всё же не UI-тесты, а качество ответов и логика агента.; Опыт с TMS (Zephyr Scale, TestIT желательно): тест-дизайн для сценариев с LLM, создание тестового цикла, отчётность; Базовое понимание SQL: умение выполнить простой запрос для проверки данных, которые агент записал или прочитал (достаточно SELECT, JOIN, WHERE). Условия и преимущества: Белая зарплата, трудоустройство по ТК РФ; 31 день оплачиваемого отпуска в год; ИПР – Индивидуальный план развития для каждого сотрудника; Активная корпоративная культура с Online и Offline мероприятиями; Добровольный ДМС (50% оплата от компании); Корпоративные внутренние курсы: автоматизация тестирования на Java, нагрузочное тестирование; Частичная компенсация пройденных курсов на различных платформах; Добровольная международная сертификация ISTQB с компенсацией от компании; Корпоративные занятия английским языком; Оборудование от компании; Реферальная программа "Приведи друга"; Дружный коллектив, лояльное руководство.Похожие вакансии