DataOps

ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений. Мы отвечаем за разработку мобильных и web- приложений, автоматизацию бизнес-процессов, искусственный интеллект, devops, инфобез ВкусВилла. Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла. На данный момент мы ищем DataOps, который будет участвовать в роботизации и автоматизации процессов во «ВкусВилл».Технологический стек: MLOps & Experiment Tracking: MLflow, ClearML, DVC, Rerun; Data Management & Storage: LakeFS, MinIO, DuckDB, PostgreSQL; Orchestration & Scheduling: Apache Airflow 2, Kubernetes, Docker; Visualization & BI: Apache Superset, Grafana, Prometheus; Development & Research Environment: JupyterHub, Conan, NVIDIA Isaac Sim/Lab, Mujoco, Llama. Обязанности: Настройка мониторинга, бэкапов, безопасности; Обучение команды работе с инфраструктурой; Поддержка и масштабирование; Поддержка и развитие инфраструктуры обработки данных с роботов; Написание DAG'ов; Оптимизация SQL-запросов к Data Lake; Создание дашбордов в Superset. Требования: Опыт в MLOps и управлении экспериментами: Глубокие знания MLflow или ClearML для трекинга экспериментов и управления реестром моделей; Опыт работы с DVC для версионирования данных. Работа с данными и хранилищами: Опыт работы с объектными хранилищами (MinIO/ S3); Опыт построения Data Lake решений с использованием LakeFS3. Оркестрация и инфраструктура: Экспертные знания Kubernetes; Уверенное владение Docker и написание оптимизированных образов. Мониторинг и BI: Настройка мониторинга системы и инфраструктуры: Prometheus +Grafana. Python (продвинутый уровень): Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы); Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок); Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных. SQL (средний уровень): Умение писать аналитические запросы (агрегации, оконные функции); Понимание разницы между DuckDB и Pandas для аналитических задач. Apache Airflow: Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom; Практический опыт написания DAG'ов для ETL-процессов; Понимание, зачем используется Airflow. Docker и контейнеризация: Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики; Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами; Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд). Хранение данных и форматы: Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги); Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами. Визуализация данных (Apache Superset): Готовность заниматься рутинной работой по созданию и поддержке дашбордов; Понимание структуры Superset: виртуальные датасеты, SQL Lab 7. Условия: Работа в аккредитованной IT-компании. Гибрид; На ключевых этапах проекта требуется работа на месте. Ожидается готовность к периодическим визитам. Официальное оформление с первого дня работы и поддержка куратора во время адаптации. Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций. Экологичная культура и адекватные руководители. Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников. Бонус 15% с покупок во ВкусВилл. Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка. Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.