Аналитик-разработчик (Big Data)

Мы ищем талантливого Аналитика-разработчика (Big Data), который готов столкнуться с непростыми задачами в области обработки больших данных! У вас будет уникальная возможность работать с петабайтами телеметрических данных с беспилотных трамваев и внести реальный вклад в развитие общественного транспорта. Если вы обладаете отличными знаниями Python, имеете опыт работы с ML, PostgreSQL, Trino, Spark, а также готовы проектировать и внедрять сложные алгоритмы анализа, то мы ждем вас! Почему стоит рассмотреть это предложение? Инновационный проект - Уникальная возможность повлиять на будущее системы общественного транспорта.Современные технологии - Мы используем современные стеки, такие как Python, Trino и Spark, что позволит вам развиваться в своей профессиональной сфере.Динамичная команда - Вы будете работать в команде экспертов, которая ценит инновации и сотрудничество. Требования Отличное знание Python 3 (в т. ч. объектно-ориентированного подхода, библиотеки pandas и ML) Опыт работы с «большими данными» (100TB+) и знакомство с соответствующими технологиями их анализа (Trino, Spark и т.п.) Умение работать с различными источникам данных (БД, файлы, API) Уверенные знания в теории вероятностей и математической статистике Знание SQL и опыт работы с реляционными и колоночными СУБД: импорт/экспорт данных, работа с СУБД с использованием скриптовых языков, оптимизация запросов Опыт работы с Linux Английский язык – на уровне чтения технической литературы Будет плюсом Высшее образование по технической специальности Опыт написания DAG-ов для Apache Airflow Базовый уровень владения BI-инструментами (Superset и др.) Опыт работы с бинарными данными в формате parquet Знание C++ ​​​​​​​Опыт работы с алгоритмами CV Опыт работы с системами контроля версий (мы используем git) Обязанности Анализ телеметрических данных беспилотных трамваев в масштабах PB-данных Разработка алгоритмов автоматического поиска проблем в работе автопилота и оборудования трамвая Разработка методик мониторинга и оценки качества работы общественного транспорта Выстраивание пайплайнов обработки данных: от необработанных данных в источнике до витрины или дашборда Условия Трудоустройство и работа в соответствии с ТК РФ Бесплатный проезд в столичном метро Бесплатный проезд по железным дорогам в пригородном сообщении от места жительства до места работы и обратно в пределах Московской области Льготы на отдых в оздоровительном комплексе метрополитена Детский оздоровительный лагерь и детский клуб Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата