other

Разработчик Big Data

Более недели назад

З/П не указана

Город: Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

VK

Тип занятости: Полная занятость

Требуемый опыт: Опыт от 3 лет

Обязанности:

Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие. Особенности: big data: 3 hdfs-кластера общим объёмом ~200PB; high load: обслуживаем десятки тысяч серверов; high available: все серверы расположены в 6 разных дата-центрах; не enterprise: разрабатываем решения, которые сами же и используем; stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow; lang: Java, Scala, Python, Bash. Задачи: развитие платформы хранения и обработки больших данных OK; развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK; миграция данных в единое хранилище в рамках холдинга. Требования: хорошее знание Java/Scala; опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow. Будет плюсом опыт работы с Apache Kafka, ClickHouse.

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 124343450

Похожие вакансии

Системный аналитик (Big Data)

От 200 000 руб.

Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

Формат кода

Big Data infrastructure engineer/DWH (Санкт-Петербург)

Договорная

Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

Lesta Games

Разработчик ИИ (Data Scientist) junior

Договорная

Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

Газпром нефть

Java разработчик в Data Platform

Договорная

Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

Т-Банк

Data Scientist/Data miner

Договорная

Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

Интерлизинг

Data Analyst / Data Engineer | Middle

Договорная

Санкт-Петербург. Станции метро: Площадь Александра Невского 2, Площадь Александра Невского 1

Devim