Дата-инженер в ОК

Более недели назад

З/П не указана

Город: Санкт-Петербург. Станции метро: Садовая, Невский проспект, Сенная площадь

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 1 года

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 1 года

Обязанности:

Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии. Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana. В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий. Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком. Задачи Построение новых и рефакторинг старых ETL-процессов Ad hoc задачи по выгрузкам/подготовке данных, их автоматизация при необходимости Участие в доработках платформы и фреймворка расчётов Разработка отчётов в SuperSet Автоматизация процессов с использованием LLM Требования Опыт работы с SQL и большими объёмами данных Опыт построения сложных ETL-процессов Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow Будет плюсом Опыт работы с YTsaurus, YQL, LLM

Показать контакты

Контакт:

Имя не указано

При звонке сообщите, что Вы нашли вакансию на Rabix.ru

Откликнуться

Разместить Резюме

Распечатать Пожаловаться ID: 159848089

Поделиться вакансией:

Похожие вакансии

Дата-инженер (ученик)

От 85 000 руб.