Обязанности:
Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого Python инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей. Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах — через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт — мы будем рады видеть вас в нашей команде. Чем предстоит заниматься: Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решений - от простых запросов к LLM до сложных агентов с отдельным окружением; Развивать архитектуру сервиса тестирования и строить дальнейшие планы по его развитию в соответствии с реальными нуждами внутренних пользователей; Разобраться с подходом Evaluation-Driven-Development для разработки GenAI фичей и заложить его в архитектуру и дизайн сервиса для тестирования; Интегрировать сервис с платформой трейсинга LangFuse; Помогать разрабатывать внутренние бенчмарки по hr домену для оценки open source LLM моделей и добавлять их в сервис тестирования; Помогать разрабатывать диалогового агента для тестирования чат-ботов; Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI с помощью сервиса тестирования; Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений. Требования: Уверенное знание python3 (asyncio, mutiprocessing/multithreading, организация кода, работа с менеджерами зависимостями), понимание как это работает внутри; Умение проектировать и развивать архитектуру сервисов; Опыт работы с базами, очередями; Опыт работы с fastapi; Опыт работы с API вызовами LLM провайдеров openai/google и тд, знание особенностей и различий; Опыт работы с современными инструментами для разработки, основанными на LLM (Cursor, Claude Code, Codex и тд), понимание их сильных и слабых сторон. Будет плюсом: Знание Java; Опыт работы с bash, k8s, nfs; Опыт работы с различными хранилищами - clickhouse, hdfs, s3; Опыт работы с векторными базами данных (Milvus/Qdrant/FAISS/pgvector) для RAG‑решений и не только; Опыт работы с трейсинг платформами, основанными на OpenTelemetry; Опыт сборки, выкатки, мониторинга, траблшутинга сервисов; Знание LLM фреймворков (langchain, langgraph или аналоги) и подходов к разработке AI-агентов (function calling, structured output, context engineering); Опыт работы с инференсом open-source LLM-моделей (vLLM/SGLang). Мы хотим, чтобы каждый сотрудник был доволен своей работой, поэтому мы предлагаем: Возможность выбора места работы: удаленно или из офиса; Гибкий график; Достойный уровень заработной платы; Корпоративное ДМС (со стоматологией) с первого месяца работы, страхование жизни; Корпоративный сервис с круглосуточной поддержкой юриста, психолога и финансового консультанта; Промокоды и бонусы от партнеров; Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях; В офисе есть тренажеры, настольный теннис, кикер, пул, зона виртуальной реальности и массажные кресла; Доступ в канал mmemes с эксклюзивными мемами; Совместную постановку целей и индивидуальный план развития.Похожие вакансии
Python / AI Developer (GenAI & Data Systems)
Договорная
Москва. Станции метро: Белорусская
Аренадата Софтвер