Мы в Rubbles занимаемся разработкой и внедрением дата-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий. Мы ищем сильных Data Engineer'ов к нам в команду. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании. Обязанности: Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark; Работа c системами хранения такими как Clickhouse и PostgreSQL; Поддержка существующих и написание новых Airflow Pipelines; Переработка существующих пайплайнов “from scratch”; Решение ad-hoc задач от аналитиков и датасаентистов; Рефакторинг легаси кода; Ревью кода других дата-инженеров; Оптимизация сложных SQL-запросов; Участие в реализации CI/CD в роли dataops; Решение инфраструктурных проблем в роли dataops. Минимальные требования: Опыт промышленной разработки на Python от 4х лет; Экспертное знание Python; Опыт работы с различными cloud-сервисами: Yandex, Google, AWS и прочие; Сильные софт скиллы и умение коммуницировать между командами; Опыт работы с Apache Spark; Опыт работы с Airflow; Опыт работы с k8s; Экспертное знание SQL; Уверенная работа с командной строкой Linux/MacOS; Умение вести проекты в Git; Умение писать pytest и понимание TDD методологии разработки; Опыт с CI/CD. На что ещё смотрим: Английский язык – уровень B1. У нас Работа в одной из самых сильных ML-команд в России; Участие в росте компании, работающей на перспективном AI рынке; Гибкий график работы; Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск. Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг. Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; ДМС со стоматологией после испытательного срока (3 месяца) по всей России; Особенно актуальное: Мы аккредитованная ИТ-компания со всеми вытекающими льготами.