Обязанности:
Привет! Мы компания Techno Diasoft - аккредитованная IT компания, созданная в 2008 году. Специализируемся на разработке высоконагруженных FinTech проектах, создании умных устройств, голосовых ассистентов, а также разработке инновационных решений в области биометрии и искусственного интеллекта. Флагманским продуктом компании является автоматизированная банковская система xBank. Мы постоянно растем: присоединяются новые таланты, появляются инновационные проекты, и нас выбирают ведущие банки, финансовые компании и инновационные предприятия. В настоящее время в компании работает более 300 сотрудников. О проекте и задачах: Сейчас мы в поиске тестировщика, который присоединится к одному из наших актуальных проектов.Стек: PostgreSQL, Apache Kafka, OpenShift/DropApp, Qdrant, LangChain/LangGraph, Grafana, Prometheus, OpenTracing/OpenTelemetry, Python, Postman/Insomnia, Fiddler/Charles Proxy, Zephyr Scale Задачи: Интеграционное тестирование: REST/gRPC, Kafka (очереди, статусы, повторная обработка), валидация данных между сервисами и базой данных. Регресс и релиз: участие в подготовке к релизу, проведение функционального и регрессионного тестирования продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции). Покрытие сценариев тестами: разработка и поддержка наборов тестовых сценариев, включая наборы для оценки качества ответов моделей (evaluation datasets, golden sets) Валидация LLM‑ответов и пайплайнов: проверка релевантности, галлюцинаций, заземлённости (grounding) и согласованности ответов, соответствие формату (structured output / JSON schema) Безопасность и соответствие: проверка на утечки чувствительной информации, валидация входных данных, контроль уязвимостей в зависимостях, соответствие внутренним политикам. Работа с промптами: тестирование промптов на устойчивость к вариациям формулировок, adversarial‑запросы, проверка поведения при «краевых» и «токсичных» запросах. Тестирование агентных сценариев: проверка логики Human‑in‑the‑loop, обработки таймаутов и повторных попыток. Дополнительно: Проверка качества данных и RAG: валидация корпуса, метрик поиска (точность, полнота), проверка сценариев «нет релевантных документов», «шумные документы», «неоднозначные запросы». От кандидата мы ожидаем: Опыт в тестировании веб-сервисов (frontend + backend) от 2-3 лет (manual + auto). Уверенное тестирование API (REST/gRPC), WebSocket, очередей, микросервисной архитектуры. Понимание SDLC, STLC и практик CI/CD, умение встраивать качество в производственный процесс. Понимание клиент-серверной и микросервисной архитектуры, а также retry, eventual consistency, идемпотентности и асинхронных процессов. Уверенное владение SQL, опыт написания запросов и валидации данных в базе данных (PostgreSQL или аналогами). Работа с системами трассировки и мониторинга (OpenTracing/OpenTelemetry, Grafana, Prometheus), понимание логов и алертов. Умение самостоятельно работать в условиях высокой неопределённости. Умение наладить эффективную коммуникацию и взаимодействие с коллегами. Понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, работа с системными промптами. Умение проектировать тестовые сценарии под неопределённость и вариативность ответов LLM. Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации Опыт работы с таск-трекерами (Jira или аналогами) Дополнительно: Понимание принципов работы LLM и агентных систем: Tool‑use, мультиагентные сценарии (Plan‑and‑Execute, Reflection, Handoff), RAG. Понимание базовых метрик качества LLM: точность, полнота, F1, BLEU/ROUGE (или альтернативные метрики), умение интерпретировать результаты. Опциональные требования: Опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных. Опыт тестирования RAG‑систем: оценка качества поиска, подбор метрик, работа с эмбеддингами. Практический опыт валидации LLM‑ответов: ручная разметка, сравнение моделей, A/B‑сравнение. Понимание MCP‑протокола и MCP‑сервера, тестирование агентных инструментов. Опыт работы с Kubernetes, Docker, Helm, CI/CD (GitLab CI, Jenkins). Навыки автоматизации тестирования на Python с применением AI-инструментов.Похожие вакансии
Разработчик Python (AI агенты)
Договорная
Москва. Станции метро: Кутузовская, Деловой центр
Лига Цифровой Экономики
От 230 000 до 245 000 руб.
Москва. Станции метро: Кутузовская, Деловой центр
Снэп АйТи