Обязанности:
Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.
Особенности:
- big data: 3 hdfs-кластера общим объёмом ~200PB;
- high load: обслуживаем десятки тысяч серверов;
- high available: все серверы расположены в 6 разных дата-центрах;
- не enterprise: разрабатываем решения, которые сами же и используем;
- stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
- lang: Java, Scala, Python, Bash.
Задачи:
- развитие платформы хранения и обработки больших данных OK;
- развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
- миграция данных в единое хранилище в рамках холдинга.
Требования:
- хорошее знание Java/Scala;
- опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.
- будет плюсом опыт работы с Apache Kafka, ClickHouse.
Условия работы:
- оформление по ТК с первого рабочего дня;
- конкурентоспособная/достойная заработная плата по итогам собеседования с успешными кандидатами;
- удалёнка;
- полная медицинская страховка с первого рабочего дня, включающая стоматологию и плановую госпитализацию;
- внутренние семинары и мастер-классы, возможность проходить внешние тренинговые программы;
- работа с ведущими специалистами рунета с опытом запуска крупнейших интернет-проектов.
Похожие вакансии