Обязанности:
Команда департамента разработки создает аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред. Задачи: Реализация компонентов платформы, связанных с обработкой больших данных Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения Формирование и обработка больших наборов данных Участие в разработке архитектуры платформы Технологический стек: Языки программирования: Scala, Python Обработка данных: Spark, Nifi, Airflow Хранение данных: Kafka, S3, ClickHouse, Scylla, ElasticSearch, Opensearch, Milvus Мониторинг: Grafana, Prometheus Прочие технологии и фреймворки: Docker, Kubernetes (Openshift), Typelevel (Cats Effect,Circe, Doobie, Weaver), Finagle, Jackson, ScalaTest. Наши ожидания: Профильное образование: информационные технологии, статистика, математика Опыт разработки на Scala или Java Знание особенностей реализации различных алгоритмов и структур данных Опыт работы в команде Будет плюсом: Опыт работы с Apache Spark, Kafka, Nifi, Airflow Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д. Глубокое понимание особенностей архитектуры JVM Интерес к технологиям Data Science, участие в конкурсах по машинному обучению Что мы предлагаем:Здоровье и спорт: ДМС + стоматология Корпоративные скидки в фитнес-клуб World Class Корпоративный тариф на абонементы FITMOST Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги) Обучение и развитие: Курсы английского языка, в том числе с носителем языка Внешние курсы, сертифицированное обучение, которые вы выбираете сами Возможность участия в конференциях в России и за рубежом Экскурсии в Музей криптографии для сотрудников и их семей Работа в удобном формате: Дистанционная работа, в офисе или комбинированный формат Программа релокации: Оплата переезда в Москву или Санкт-Петербург для будущих сотрудников и их семей Релокационный бонус для аренды жильяПохожие вакансии