Обязанности:
Мы ищем Data Scientist для работы над данными pretrain языковых моделей типа ChatGPT Куда: прод команда больших языковых моделей в SberDevices Где: офис на Кутузовском, удаленка из России Что: работать с данными для обучения больших языковых моделей и делать их еще кручеЗадачи: майнить данные: писать и запускать код для сбора данных с разных платформ (где есть прям много данных, которых нет в Common Crawl) собирать параллельные корпусы текста для машинного перевода очищать данные: обрабатывать сырые данные из интернета, выкидывать рекламные блоки, непонятные блоки, использовать существующие или обучать новые языковые модели для решения подобных задач убирать дубликаты: оптимизировать объем данных для экономии ресурсов на обучение, удалять дубли и схожий контент, использовать существующие или обучать новые языковые модели для решения подобных задач Ожидания: диплом ШАДа с заветными тремя словами: Natural language processingБудет плюсом: есть опыт с LM отличный от NLP курса ШАДа есть опыт с Map Reduce: PySpark, SNM опыт выкатки в продакшн, разработки пайплайнов, MLOps Мы предлагаем: масштабные, сложные и разнообразные задачи, находящиеся на острие инноваций сильная команда отзывчивых профи и гуру, которые всегда помогут текущий объем датасета 4Тб текста, будет намного больше фидбек и возможность увидеть результаты своей работы в продукте; своя digital-платформа для развития ключевых IT-компетенций, внутренние и внешние конференции и проф. сообщества Сбера много корпоративных плюшек: расширенная программа ДМС (возможность подключения родственников), страхование жизни, специальные условия по кредитам/ипотеке, скидки от компаний-партнёров знаменитый офис на Кутузовском проспекте с парковкой, спортзалом, массажными креслами и возможностью выбора формата работы (офис или гибрид) атмосфера стартапа и надёжность гигантаПохожие вакансии