Обязанности:
Мы развиваем AI-агента для автоматизации коммуникации в продажах (сфера недвижимости). Агент уже работает в продакшене, общается с реальными пользователями и генерирует встречи. Сейчас нам нужен человек, который полностью возьмёт на себя LLM-направление и подготовит продукт к масштабированию до 1 000+ клиентов. Это ключевая роль в продукте. Зона ответственности 1. Владение поведением AI-агента Проектирование и оптимизация системных промптов. Разработка few-shot и негативных примеров. Внедрение guardrails (запреты, анти-галлюцинации, fallback-логика). Контроль длины диалога (length fuse, forced CTA). Работа с логикой назначения встреч. 2. Повышение конверсии Анализ реальных диалогов. Поиск точек потери конверсии. A/B тестирование версий промптов. Оптимизация перехода к назначению встречи. 3. Метрики и контроль качества Проектирование системы метрик: % предложений встречи % согласованных встреч % нарушений правил средняя глубина диалога drop-off этапы Внедрение логирования и evaluation. Настройка smoke/regression-тестирования. Версионирование промптов и контроль изменений. 4. Подготовка к масштабированию Повышение стабильности поведения агента. Минимизация неожиданных сценариев. Формирование стандартов работы с LLM внутри команды. Что для нас важно Опыт работы с LLM в production. Понимание, как управлять поведением модели (не только писать промпты). Опыт построения evaluation / тестирования LLM-систем. Понимание конверсии и воронки продаж. Опыт работы с API и backend-логикой. Технологический контур Backend: nodejs/nestjs Оркестрация / workflow: n8n LLM-провайдеры: openai База данных: postgres Инфраструктура: docker, got, vps Логирование / трекинг: grafana Интеграции: Google calendar, telegram LLM-направление не жёстко привязано к конкретному стеку — для нас важнее архитектура контроля и результат. Формат работы Full-time Удалённо Возможен бонус за достижение KPI (рост конверсии, снижение нарушений) Обязательный вопрос для отклика Пожалуйста, кратко ответьте: У вас есть AI-агент, который должен доводить диалог до назначения встречи. Какие 5 метрик вы внедрите в первую очередь и как организуете smoke/regression-тестирование новых версий промптов? Мы оцениваем понимание архитектуры контроля, а не список инструментов.Похожие вакансии