Обязанности:
Задачи: - обучение собственных gpt-like языковых моделей (QWEN, LLAMA и аналоги) с нуля; - развитие и продолжение существующих экспериментов по обучению моделей; - работа с полным циклом: сбор и подготовка текстовых датасетов, обучение векторизатора, подготовка векторизированных версий текстов; - инициализация и обучение моделей (в т.ч. с нуля), подбор архитектуры и гиперпараметров; - оценка качества моделей, проведение экспериментов и итеративное улучшение результатов. Требования: - опыт обучения gpt-like LLM-моделей (QWEN, LLAMA и аналоги) с нуля (приоритетное требование); - глубокое понимание процесса обучения: инициализация весов, подготовка датасетов, тренировочный пайплайн; - опыт работы с векторизаторами и подготовкой текстовых данных; - сильный Python и опыт с ML-фреймворками (PyTorch и др.); - понимание distributed training и работы с GPU; - как альтернатива: сильный опыт качественного файн-тюнинга предобученных gpt-like моделей;Похожие вакансии