other

QA / Eval-инженер

8 июля 2026

З/П не указана

Город: Пермь

ИнтеллектДиалог

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 3 лет

Обязанности:

Привет. Я Виктор, основатель IntellectDialog (7 лет, 500+ клиентов, резидент Сколково). Собираю команду под грантовый НИОКР: система для стоматологических клиник, которая сама решает, кому, когда и в каком канале написать пациенту, сама записывает в МИС и объясняет каждое своё решение. Внутри — байесовские профили, скоринги, решающие правила с доказанными теоремами и генерация, где каждая цифра обязана иметь источник. Важно: только с продовым опытом ровно в том, что написано ниже. Смежный опыт не считается, доучивать некогда — сроки грантовые. В сопроводительном обязательно: научные публикации/доклады, если есть (для гранта это влияет на выбор), сколько часов в день готовы уделять, и подтверждение, что ставка 500 - 1000 ₽/час вам подходит. Отклик без этих пунктов и без обязательных пунктов из конца вакансии не рассматриваю. Вы будете отвечать за то, чтобы вся эта конструкция была доказуемо надёжной — от математики профилей до red-team ИИ-агента. Что конкретно: — eval-инфраструктура: golden-наборы, red-team (инъекции, выманивание данных, медицинские провокации), регрессия «инцидент → тест одним действием», всё гейтами в CI (Promptfoo/DeepEval); — property-based тесты математических инвариантов на Hypothesis + фаззинг решателя на миллион конфигураций; — испытания транзакций: гонки за слот, обрывы в момент записи, компенсации, деградация при недоступности МИС/LLM; — нагрузочные (200 одновременных диалогов, приёмка по p95) и программа квалификационных испытаний для гранта. Кого ищу: SDET из финтеха/высоконагруженных сервисов или инженера качества ML-продуктов. Того, кто ловил распределённые гонки автотестами и понимает, чем eval-набор отличается от юнит-тестов. Кому не писать: ручное тестирование и Selenium-автотесты интернет-магазинов — не тот профиль, извините. Если Hypothesis и property-based testing для вас теория — пока рано. Стек: Python (eval и тестовый контур), TypeScript (тесты ядра), PostgreSQL, k6/Locust. В отклике обязательно: Кейс: гонка или распределённый баг, который вы поймали автотестом — как построили тест и остался ли он жить в CI после вас. Если тестировали ML/LLM — что мерили и как собирали наборы (если нет — честно, не откликайтесь). По списку — «работал в проде» / «знаю поверхностно» / «не работал»: — Hypothesis (property-based): какие инварианты проверяли, писали ли стратегии сами; — Promptfoo / DeepEval / Ragas: что гоняли гейтом в CI; — red-team LLM: свои корпуса провокаций или инструменты (Garak, PyRIT); — k6 / Locust: профили нагрузки, приёмка по перцентилям; — тестирование транзакций и идемпотентности: как эмулировали обрывы и гонки; — Python и TypeScript в тестовом коде — что основной; — PostgreSQL: умеете ли готовить тестовые данные и проверять состояние напрямую. Отдельным абзацем: какую тестовую инфраструктуру вы построили с нуля (фреймворк, eval-контур, стенд) — а не дописывали тесты в готовую. GitHub, доклады. Научные достижения, если есть — списком. Доступность: сколько часов в день готовы уделять, с какой даты — и подтверждение, что ставка 500 - 1000 ₽/час по факту отработанного вам ок. Без этого подтверждения созвон не назначаю, чтобы не тратить время обеих сторон. Условия: удалёнка, от 4 часов в день, 500 - 1000 ₽/час по факту, самозанятость/ИП/ГПХ, 12–18 месяцев. Для ключевых участников по итогам успешной реализации — опцион на долю в компании (условия индивидуально, после первых месяцев работы). Это НИОКР с публикациями и РИД — 50+ клиник-клиентов ждут пилотов, результат уйдёт в прод. Если есть научные публикации, доклады, участие в НИОКР — приложите список, для гранта это важно и влияет на выбор.

Показать контакты

Имя не указано

Пожаловаться ID: 156081440

Похожие вакансии

ML/LLM-инженер: RAG, верифицированная генерация, eval

До 250 000 руб.

Пермь

ИнтеллектДиалог

QA-инженер (backend)

Договорная

Пермь

Т-Банк

Fullstack QA-инженер (Java/ Python)

До 160 000 руб.

Пермь

Lexica

Senior QA Automation Engineer

Договорная

Пермь

Kleos

Специалист по тестированию (QA Engineer)

Договорная

Пермь

DIGITAL FUTURE SYSTEMS

Инженер

От 65 000 до 85 000 руб.

Пермь

ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЖИЛИЩНО-СЕРВИСНАЯ КОМПАНИЯ"