Инженер данных для ИИ

Обязанности: 1. Разработка data-pipeline и инфраструктуры Проектировать архитектуру обработки данных (batch / streaming) Разрабатывать и поддерживать ETL/ELT-процессы Обеспечивать надежную доставку данных в ML/LLM-системы Развивать Data Lake / Data Warehouse 2. Работа с данными для ML/LLM Подготавливать датасеты для обучения, тестирования и инференса Подготавливать данные для RAG (документы, базы знаний, тексты) Выполнять очистку, нормализацию, дедупликацию и обогащение данных Работать с неструктурированными данными (тексты, PDF, логи, аудио) 3. Качество данных и валидация Разрабатывать системы контроля качества данных (data quality) Внедрять проверки в пайплайны (validation, schema checks) Обеспечивать консистентность и целостность данных Анализировать причины деградации качества данных 4. Интеграция и работа с бизнесом Интегрировать данные из ERP, CRM и других систем Взаимодействовать с бизнес-подразделениями Формализовывать и структурировать знания компании Подготавливать документацию в формат, пригодный для ИИ 5. Оптимизация и продакшен Оптимизировать производительность обработки данных Учитывать latency, throughput и стоимость обработки Обеспечивать масштабируемость решений Участвовать в эксплуатации data-сервисов в продакшене 6. Data-процессы и воспроизводимость Строить воспроизводимые пайплайны (данные + код + конфигурации) Версионировать данные и процессы Документировать архитектуру и data-flow Обеспечивать стабильность data lifecycle Ожидаем от вас знаний и опыта: Архитектуры данных; Data Lake / Data Warehouse; Методов интеграции данных; Подготовки данных для ML; Контроля качества данных; Основ распределенных систем; Разработки data-pipeline; ETL/ELT; Очистки и трансформации данных; Data quality систем; Подготовки датасетов для ML/LLM; Работа с Git; Docker / CI/CD. ​​​ Условия: График работы гибридный (посещение офиса 2 дня в неделю); Дополнительная ежеквартальная премия; Оформление в соответствии с ТК РФ в IT аккредитованную компанию; Кафетерий льгот на выбор (питание, спорт-карта, ДМС); 10% скидки на покупки в магазинах, бонусы по корпоративной карте лояльности.