Разработчик (Data Engineer)

ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений. Мы отвечаем за разработку мобильных и web- приложений, автоматизацию бизнес-процессов, искусственный интеллект, devops, инфобез ВкусВилла. Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла. На данный момент мы ищем Data Engineer, который будет участвовать в роботизации и автоматизации процессов во «ВкусВилл». Обязанности: Стек: Python, Apache Airflow, Docker, SQL (DuckDB), PyArrow, MinIO(S3), Apache Superset. Поддержка и развитие инфраструктуры обработки данных с роботов. Написание DAG'ов. Оптимизация SQL-запросов к Data Lake. Создание дашбордов в Superset. Требования: Python (продвинутый уровень). Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы). Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок). Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных. SQL (средний уровень). Умение писать аналитические запросы (агрегации, оконные функции). Понимание разницы между DuckDB и Pandas для аналитических задач. Apache Airflow. Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom. Практический опыт написания DAG'ов для ETL-процессов. Понимание, зачем используется Airflow. Docker и контейнеризация. Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики. Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами. Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд). Хранение данных и форматы. Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги). Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами. Визуализация данных (Apache Superset). Готовность заниматься рутинной работой по созданию и поддержке дашбордов. Понимание структуры Superset: виртуальные датасеты, SQL Lab 7 Soft Skills. Высокая обучаемость и способность быстро погружаться в существующую архитектуру (bus factor = 1). Системное мышление: понимание полного цикла работы данных от загрузки до визуализации (Jupyter → Airflow → duckdb → lakeFS → MinIO → duckdb → Jupyter/Superset). Ответственность и готовность оперативно решать проблемы поддержки (что-то сломалось — надо чинить). Преимущества (будет плюсом): Знание ROS 2 (Robot Operating System) и формата .bag: понимание структуры топиков, сообщений, типов данных сенсоров (лидары, камеры, одометрия). Опыт работы с lakeFS: понимание концепции версионирования данных (ветвление, коммиты) и того, как lakeFS интегрируется с MinIO. DevOps-скиллы: базовое администрирование Linux (работа с дисками, памятью, процессами); опыт работы с системами логирования и мониторинга. Условия: Работа в аккредитованной IT-компании. Гибрид; На ключевых этапах проекта требуется работа на месте. Ожидается готовность к периодическим визитам. Официальное оформление с первого дня работы и поддержка куратора во время адаптации. Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций. Экологичная культура и адекватные руководители. Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников. Бонус 15% с покупок во ВкусВилл. Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка. Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.