other

Data Engineer

Более недели назад

З/П не указана

Город: Москва

VK

104 вакансии

Тип занятости: Полная занятость

Требуемый опыт: Без опыта

Образование: Любое

Обязанности:

Наш департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. У нас в команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.

Ищем опытного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайт.

Задачи:

  • проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
  • участвовать в развитии системы для создания и использования ML-моделей;
  • исследовать и интегрировать в продукт новые источники данных;
  • создавать витрины признаков для ML-моделей.
Требования:
  • знание алгоритмов и структур данных;
  • умение писать качественный, поддерживаемый код на Scala, Python, SQL;
  • опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
  • знакомство с Git, Linux, Docker;
  • опыт работы с терминалом по SSH.

Будет плюсом:

  • умение использовать Luigi, Airflow, Kafka;
  • опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
  • знание Java и нюансов JVM;
  • понимание классических ML-моделей, задач и методов DS.

Александра

Откликнуться
Разместить Резюме
Пожаловаться ID: 123943817

Похожие вакансии

Data Engineer

Договорная

Москва

Технологии Доверия

Data Engineer

Договорная

Москва

СБЕР

Data Engineer

Договорная

Москва

IVIDEON

Data Engineer

Договорная

Москва

Manzana Group

Data Engineer

От 250 000 до 300 000 руб.

Москва

Группа компаний МЕДСИ

Data Engineer

Договорная

Москва

Ростелеком