Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий. Мы ищем Data Engineer'ов для участия во внутренних проектах на стадии presale. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании. Обязанности: Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow); Разработка коннекторов к системам-источникам данных и системам-потребителям; Организация потоков данных в рамках микросервисной архитектуры платформы; Разработка схемы данных компонентов платформы в едином информационном поле; Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis); Разработка пайплайнов с Kafka; Написание генераторов тестовых данных; Минимальные требования: Опыт промышленной разработки на Python от 2х лет; Сильные софт скиллы и умение коммуницировать между командами; Знакомство с основным big data стэком – Spark, Hadoop. Опыт работы с Airflow; Опыт работы с k8s; Уверенное знание SQL; Умение работать с командной строкой Linux/MacOS; Умение вести проекты в Git; На что ещё смотрим: Опыт работы с MPP – системами и с колоночными хранилищами данных. Английский язык – уровень B1. У нас Работа в одной из самых сильных ML команд в России; Участие в росте компании, работающей на перспективном AI рынке; Гибкий график работы; Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск. Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского; Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; ДМС со стоматологией после испытательного срока (3 месяца) по всей России; Особенно актуальное: Мы аккредитованная ИТ-компания со всеми вытекающими льготами.
Похожие вакансии