Обязанности:
Привет! Мы ищем middle+/senior Scala-разработчика для разработки инструментов хранения, обработки и анализа данных. Одним из направлений команды Casino является работа с данными получаемыми от конечных продуктов. Храним данные в hdfs, обрабатываем с помощью выделенного spark кластера. Однако с ростом объема данных, а это несколько тысяч терабайт, мы начали упираться в производительность такой архитектуры. Хотим переосмыслить работу с данными и смотрим в сторону s3, spark on k8s и delta lake. Кроме этого хотим вложиться в автоматизацию ETL и инструментов анализа данных. Какие задачи предстоит решать? Исследовать, придумывать и создавать новое хранилище Придумывать и разрабатывать инструменты аналитики данных Автоматизировать ETL pipelines Технологии cats, cats-effect, fs2, http4s kafka, fs2-kafka, kafka-streams hdfs, spark, cassandra, postgresql Что ждём от кандидата? Опыт разработки высоконагруженных бэкендов от 3 лет. Опыт работы с hdfs, spark, Kafka, SQL и/или NoSQL базами данных. Преимуществом будет опыт эксплуатации JVM-приложений, разработки на Scala, дизайна высоконагруженных бэкендов и стриминговых систем обработки данных. Что предлагаем? 2ГИС — аккредитованная IT-компания. Техника и ОС на выбор. У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. А также коворкинги в Нижнем Новгороде, Томске, Астане, Алма-Ате. Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании. Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента. Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра. Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.Похожие вакансии