Обязанности:
Кто мы EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.Работаем с крупным российским и международным бизнесом.От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов. Коротко о роли: Ищем Lead LLM Engineer, который будет поровну: строить продакшен-системы на базе LLM (агенты, ассистенты, RAG, tool-use, evaluation, observability), руководить командой инженеров (планирование, техлидство, качество, найм/менторинг). Роль предполагает владение архитектурой end-to-end: от постановки задачи и дизайна решений до вывода в прод, поддержки и развития. Задачи: 50% Hands-on Проектирование и разработка агентских систем: orchestration, multi-agent, planning/execution loops, memory, tool calling. Построение ассистентов: диалоги, контекст, персонализация, безопасность, обработка ошибок и деградаций. Реализация RAG: ingest pipelines, chunking, embeddings, hybrid search, reranking, цитирование источников, защита от hallucinations. Интеграция с инструментами/сервисами: внутренние API, БД, очереди, файловые хранилища, CRM/ERP и т.д. Evals & качество: тест-наборы, golden datasets, автоматические проверки, A/B, regression, red-teaming. Наблюдаемость: трассировки, метрики, логирование, cost/latency оптимизация, rate limits. Участие в выборе моделей, fine-tuning/LoRA/PEFT при необходимости, prompt/system design. 50% Управление и техлидство: Руководство командой инженеров (ML/Backend/Platform): цели, roadmap, декомпозиция, приоритизация, delivery. Построение инженерных практик: code review, CI/CD, quality gates, incident management, SDLC. Менторинг: рост инженеров, найм, адаптация, performance feedback. Коммуникации со стейкхолдерами: формирование требований, критериев успеха, SLA/SLO. Требования: Опыт разработки LLM-продуктов в продакшене: ассистенты/агенты/RAG/tool-use. Сильный software engineering бэкграунд: архитектура сервисов, API, интеграции, отказоустойчивость. Опыт people lead (минимум 3–5 человек) или устойчивый опыт техлидства с ответственностью за поставку. Практики качества: тестирование, evals, мониторинг, работа с инцидентами. Умение переводить бизнес-задачу в техрешение и метрики результата. Технологический стек: LLM / Agents / Assistants Agent frameworks: LangGraph / LangChain, LlamaIndex, Semantic Kernel (или аналоги) Tool calling, function routing, planners/executors, multi-agent patterns Prompt/system design, structured outputs (JSON schema, constrained decoding), guardrails RAG / Search: Vector DB: pgvector / Postgres, Pinecone / Weaviate / Milvus / Qdrant Search: Elasticsearch / OpenSearch, hybrid search, rerankers (cross-encoders) Pipelines: ingestion, chunking, metadata, dedup, doc lifecycle Backend / Data / Infra: Python (FastAPI), возможно TypeScript/Node.js Async/queues: Kafka / RabbitMQ / Redis Streams, background workers (Celery/RQ) Storage: Postgres, Redis, S3-совместимые хранилища Containerization: Docker, orchestration: Kubernetes CI/CD: GitHub Actions/GitLab CI, IaC (Terraform — плюс) Observability / Evals: Tracing: OpenTelemetry Monitoring: Prometheus/Grafana LLM observability: Langfuse / Phoenix / Arize (или аналоги) Evals: RAG eval, LLM-as-a-judge, human feedback loops, safety testing MLOps / Model ops (по необходимости) Fine-tuning: PEFT/LoRA, vLLM/TGI, model serving Cost/latency optimization: caching, batching, token budgets Будет плюсом: Опыт построения “enterprise” ассистентов: роли/права, аудит, DLP, PII masking, безопасность. Опыт on-prem / air-gapped контуров. Опыт создания внутренних платформ для команд (SDK, templates, best practices). Опыт работы с многоязычными сценариями (RU/EN), длинным контекстом, сложными документами. Мы предлагаем: Полностью удалённый формат работы. Участие в ML- проектах федерального уровня. Работа в сильной команде экспертов, где ценится открытость, качество и развитие.Похожие вакансии