Обязанности:
Мы создаём внутреннюю платформу AI-агентов для автоматизации ключевых операционных процессов: от контроля качества до управления цепочкой поставок. Прямо сейчас мы решаем одну из самых нетривиальных инженерных задач в отрасли: глубокую интеграцию локальных больших языковых моделей (on-premise LLM) с корпоративной системой управления (ERP) в регулируемой среде с требованиями FDA, EMA и EU AI Act. Здесь нет типовых решений - только реальные производственные данные и прямое влияние на бизнес. Вам предстоит: Интеграция больших языковых моделей (LLM) с ERP- Реализовывать вызовы больших языковых моделей (LLM) из среды разработки ERP. Логирование и ALCOA+- Реализация неизменяемого логирования всех LLM-запросов: промпт, модель, ответ, метаданные использования токенов;- Хранение с криптографическим хешированием, шифрованием и резервными копиями. Кэширование и производительность- Настройка пула соединений между ERP и LLM-сервером;- Реализация кэширования типовых запросов и пакетной обработки (batch processing) для снижения нагрузки на GPU. Инфраструктура инференса- Развёртывание и настройка LLM-серверов, балансировщика нагрузки, автоматического переключения при отказе;- Настройка мониторинга инфраструктуры: нагрузка, температура, задержка, частота ошибок. Оркестрация агентов- Реализация графа агентов: состояния, переходы, условия, асинхронные вызовы через очередь сообщений;- Покрытие тестами всех сценариев: успех, таймаут, недоступность LLM, невалидный ответ. Нам важно: Опыт разработки и интеграции LLM; Опыт работы с ERP-системами; Опыт построения отказоустойчивых систем; Знание принципов неизменяемого логирования и стандартов ALCOA+; Опыт работы с очередями сообщений; Навыки написания модульных и интеграционных тестов. Будет плюсом: Опыт развёртывания ML-инфраструктуры; Знание инструментов мониторинга.Похожие вакансии
Договорная
Санкт-Петербург. Станции метро: Невский проспект
БИОКАД, биотехнологическая компания
Разработчик Python в LLM Platform
Договорная
Санкт-Петербург. Станции метро: Невский проспект
Т-Банк
ML-Python разработчик Junior (NLP) (офис)
До 140 000 руб.
Санкт-Петербург. Станции метро: Невский проспект
Норд Клан