Обязанности:
Инференс LLM в масштабе — это сложная инфраструктурная задача: GPU работают на пределе, возникают сетевые задержки, возможны сбои оборудования. Мы создаём решения, чтобы эти события минимально влияли на доступность и latency нашего сервиса инференса. Какие задачи вас ждут: Оптимизация инференсных движковВам предстоит повышать эффективность и снижать latency при выполнении LLM-инференса на GPU. Развитие инструментов диагностики Вы будете создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, которые влияют на стабильность и скорость инференса. Исследование и внедрение Вам предстоит работать с методами оптимизации инференса (квантованием, прунингом) и современными подходами к параллелизации Мы ждем, что вы: Владеете C++ и Python: имеете уверенные навыки низкоуровневого программирования и оптимизации Работали с GPU (NVIDIA) и CUDA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы под CUDA Глубоко понимаете архитектуру Transformer: знакомы с внутренними механизмами (attention, FFN, нормализацией) и их реализациями Знаете подходы к параллелизации: понимаете Data Parallel, Tensor Parallel, Pipeline Parallel (желательно ещё Expert Parallel) для распределённого инференса или обучения Интересуетесь LLM и MLOps: понимаете задачи и вызовы, связанные с эксплуатацией больших моделей в продакшне Умеете эффективно работать в команде и делиться знаниями Будет плюсом, если вы: Работали с современными решениями для оптимизации инференса: vLLM, TensorRT-LLM (TRT-LLM) или sglangПохожие вакансии
Ведущий разработчик Flutter / Senior Fullstack Developer (AI/LLM)
От 600 000 руб.
Москва
Сервис Плюс