ML Engineer (NLP/LLM)

О компании: ООО "АКВИЛОН" – это место, где металл обретает форму, а идеи становятся реальностью. У нас ты сможешь работать с уникальными проектами, такими как крепеж для морских судов и компоненты для современных БПЛА. Мы предлагаем стабильность и развитие. Присоединяйся к нашей команде профессионалов и создавай вещи, которые действительно важны! Только офисный формат работы Обязанности: Обучение и файнтюнинг генеративных языковых моделей (трансформеры, LLM) под конкретные бизнес-задачи. Применение методов параметроэффективного дообучения: LoRA, QLoRA, префикс-тюнинг. Работа с инструментарием дообучения: Axolotl, Transformers, PEFT, возможно TRL для RLHF (если нужно), но указан Axolotl, значит фокус. Подготовка и очистка данных: сбор, разметка, аугментация текстовых датасетов; управление версиями данных с помощью DVC или аналогов. Валидация и тестирование моделей: расчет метрик (перплексия, F1, ROUGE, BLEU, accuracy в зависимости от задачи); разработка автоматизированных тестов качества. Оптимизация инференса: квантизация (GPTQ, AWQ), экспорт в формат для Ollama/vLLM, анализ скорости/качества. Совместная работа с MLOps по упаковке моделей в Docker-образы и включению в CI/CD. Ведение журнала экспериментов, фиксация гиперпараметров, отслеживание метрик в изолированной среде (возможно на базе MLflow или внутренних решений). Исследование новых архитектур и подходов для улучшения качества ответов, снижения галлюцинаций, повышения релевантности. Требования: Глубокое знание PyTorch и экосистемы Hugging Face (transformers, datasets, accelerate, peft). Опыт дообучения LLM (LoRA/QLoRA) с помощью Axolotl или аналогичных фреймворков. Понимание метрик качества NLP: перплексия, F1-score, точность/полнота, BLEU/ROUGE; умение интерпретировать их. Навыки работы с данными: предобработка текста, фильтрация, дедупликация, управление большими датасетами; опыт с DVC или Git LFS. Умение работать в изолированной среде: способность загружать модели, токенизаторы и зависимости оффлайн, настраивать кэширование Hugging Face, pip индекс. Понимание архитектур Transformer (GPT, LLaMA, Mistral и т.д.) и методов их адаптации. Хорошие навыки программирования на Python, написание чистого и воспроизводимого кода. Опыт работы с системами контроля версий (Git) и базовое понимание CI/CD. Будет плюсом: опыт квантизации моделей (llama.cpp, GPTQ, AWQ), знание внутреннего устройства Ollama/vLLM, опыт с RLHF/DPO. Условия: Полная занятость, график работы 5/2, Пн-Чт с 8 до 16-45, Пт. до 15-30. Работа на месте работодателя. Бесплатная парковка. Развозка от. ст.м. Елизаровская и до ст.м. Елизаровская/Обводный канал (на выбор) Столовая на территории работодателя. Возможности для профессионального роста и обучения за счет компании. Участие в уникальных и инновационных проектах, которые приносят пользу.