Обязанности:
Мечтай о большем с Napoleon IT Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим. Мы - это более 200 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты. Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов. Реализовывая принцип LLM First, мы стараемся внедрять LLM-технологии во все внутренние процессы, чтобы освободить ресурс для смелых идей, уникальных проектов и амбициозных целей. Наша цель — упростить доступ к передовым технологиям и позволить людям мечтать о большем, и для этого нам необходима твоя экспертиза. Мы делаем упор не на классическое веб-тестирование, а на проверку «мозгов» продукта - больших языковых моделей (LLM). Сейчас мы находим в поиске Инженера по тестированию (AI/LLM) для работы на двух проектах :Tayle — ИИ-сервис для presale-инженеров в сфере сетевого оборудования. Помогает быстро подбирать аналоги и замены для сложного оборудования. Ядро продукта — бэкенд-сервис с AI, который сейчас работает как Telegram-бот, параллельно разрабатывается админ-панель и интеграция в Битрикс. Проект в активной разработке. Document AI — собственная технология интеллектуального анализа юридических и бизнес-документов. На базе этой технологии будут появляться новые клиентские проекты. Технология в активной разработке.Чем предстоит заниматься: - Проводить функциональное, регрессионное и исследовательское тестирование AI/LLM решений на вебе и мобильных платформах. Искать неочевидное там, где машина пытается мыслить. - Анализировать ответы модели на релевантность, полноту и корректность. Отделять факты от «галлюцинаций». - Пытаться взломать модель с помощью prompt injection и jailbreak, чтобы сделать её безопаснее. - Проверять стабильность и воспроизводимость ответов, тестировать работу с длинным контекстом и удержание нити диалога. - Тестировать API, через которое наши продукты общаются с LLM-провайдерами. - Создавать тест-кейсы и чек-листы, документировать баги в трекере. - Работать в связке с разработкой, продактом и ML-командой, чтобы делать продукты лучше на каждом этапе. Что мы ждем от тебя : - Опыт ручного тестирования веб-приложений от 2 лет; - Понимание принципов работы LLM (промпты, токены, температура, контекстное окно); - Опыт или сильный интерес к тестированию AI/ML-продуктов; - Умение оценивать качество нечётких, вероятностных ответов; - Знание техник тест-дизайна, видов и уровней тестирования; - Опыт тестирования REST API (Postman, Swagger); - Работа с баг-трекерами (Jira, YouTrack); - Умение работать с DevTools, читать логи; - Понимание клиент-серверной архитектуры. Будет плюсом: - Опыт тестирования мобильных приложений (iOS/Android); - Опыт оценки качества ответов LLM (разметка, ранжирование, A/B-тесты промптов); - Знакомство с prompt engineering; - Понимание метрик AI-моделей (precision, recall, BLEU, human evaluation); - Опыт тестирования RAG-систем; - Базовый SQL; - Навыки автоматизации (Selenium, Playwright) на уровне запуска тестов; - Английский B1+ (чтение документации). Что мы предлагаем: - Оформление в аккредитованную IT-компанию; - Гибкое начало рабочего дня, гибридный график в Мск, либо удаленный формат работы; - Индивидуальный план развития для каждого сотрудника с возможностью освоения новых технологий; - Насыщенная корпоративная жизнь: онлайн- и офлайн-квизы, выездные корпоративы, спортивные мероприятия, творческие тимбилдинги, тематические вечеринки и многое другое; - Оплата участия в профильных онлайн-конференциях (HighLoad++, Podlodka, Mobius и др.); - Компенсация расходов на покупку профессиональной литературы; - Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.Похожие вакансии
Договорная
Санкт-Петербург. Станции метро: Спортивная, Василеостровская, Горный институт
Настоящая Статистика
Договорная
Санкт-Петербург. Станции метро: Спортивная, Василеостровская, Горный институт
TravelLine
Договорная
Санкт-Петербург. Станции метро: Спортивная, Василеостровская, Горный институт
Napoleon IT
Договорная
Санкт-Петербург. Станции метро: Спортивная, Василеостровская, Горный институт
e-legion
От 140 000 руб.
Санкт-Петербург. Станции метро: Спортивная, Василеостровская, Горный институт
Технические Системы и Технологии
Договорная
Санкт-Петербург. Станции метро: Спортивная, Василеостровская, Горный институт
СОЛВО