Инженер данных (Data Engineer)

О проекте: Aspirity — студия веб- и мобильной разработки из Сибири, специализирующаяся на создании программных решений для международных стартапов и крупных компаний. Среди наших клиентов — технологические компании Кремниевой долины, такие как Shoreline и Pinecone, а также лидеры рынков России, Европы и Азии, включая РУСАЛ, NGenix (в составе группы «Ростелеком») и Schibsted. Мы развиваем направление outstaff-сотрудничества и формируем команды, которые работают в продуктах клиентов, оставаясь при этом частью инженерной культуры Aspirity. Параллельно мы запускаем крупный внутренний проект в области AI — систему автоматизации проектирования складских комплексов. Цель проекта — внедрение интеллектуальных ассистентов и цифровых пайплайнов в инженерные и производственные процессы. Обязанности: Сбор, обработка, очистка и трансформация различных типов данных (текст, таблицы, инженерные чертежи — AutoCAD, Excel и др.) Разработка и поддержка надежных ETL/ELT пайплайнов для подготовки обучающих наборов данных для ML/AI моделей Автоматизация процессов загрузки данных из различных источников: корпоративные системы, базы данных, облачные хранилища, API Оценка качества, анализ, валидация и обогащение данных, проведение аудита на полноту и корректность Работа в связке с разметчиками, ML/AI инженерами бизнес-командой для целей эффективной передачи и использования данных Ведение документации по структуре и потокам данных, поддержка переиспользуемости и прозрачности всех решений Интеграция данных для корпоративных ассистентов (привязка к собственному ПО, коннекторы с AutoCAD, Bitrix24, Excel и др.) Требования: Опыт работы инженером данных (data engineer) от 2 лет Отличные знания Python (желательно опыт с pandas, PySpark, SQLAlchemy и др.) Опыт построения ETL/ELT пайплайнов, знание архитектуры и инструментов данных, опыт работы с большими объемами данных Практические навыки работы с API, интеграции данных из различных корпоративных систем (ERP, CRM, внутренние базы) Опыт работы с табличными и неструктурированными данными (текстовые документы, таблицы, чертежи) Владение SQL, опыт работы с реляционными и нереляционными СУБД Навыки автоматизации рабочих процессов, использование Docker Опыт взаимодействия с ML/AI специалистами и командами разметки Готовность работать в домене промышленной автоматизации и инженерного проектирования (не финтех / не e-commerce), с задачами производства и логистической инфраструктуры Будет плюсом: Опыт интегра коннекторов для AutoCAD, 1С, Bitrix24, Excel и других инженерных/бизнесовых инструментов Знание принципов работы с облачными платформами (Yandex Cloud, AWS, GCP) Опыт поддержки пайплайнов для задач машинного обучения, подготовки данных для LLM Условия: Участие в масштабном технологическом проекте на старте Современный стек решений, возможность влиять на технологии и процессы Команда профессионалов (ML/AI инженеры, разметчики, DevOps, продакт-менеджер) Официальное оформление, конкурентная зарплата (обсуждается индивидуально) Перспективы профессионального роста