Старший дата-инженер

RDP - ведущий российский производитель сетевых решений. Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе. Одна из ключевых особенностей нашей компании – поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения. Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика. Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др. Обязанности: Разработка и развитие batch и streaming пайплайнов Реализация витрин данных в Lakehouse-архитектуре Работа с Iceberg-таблицами (создание, оптимизация, поддержка) Оптимизация Spark-job'ов и SQL-запросов Поддержка legacy-процессов Hadoop/Hive Разработка и сопровождение DAG'ов (Air?ow) Участие в миграции со старого стека Участие в код-ревью Требования: 3–5+ лет опыта в Data Engineering Уверенный опыт работы со Spark (batch, желательно streaming) Отличное знание SQL Опыт работы с Kafka Уверенное владение Python (включая PySpark) Понимание принципов построения Data Lake / DWH Опыт разработки витрин данных Опыт работы с распределёнными хранилищами (HDFS, S3 или аналоги) Понимание partitioning, индексации, форматов хранения Умение анализировать узкие места Spark-job'ов Понимание причин деградации производительности Опыт работы с большими объёмами данных Понимание базовых принципов SLA витрин Будет плюсом: Опыт работы с Iceberg / Delta Lake Опыт работы с Trino / Presto Опыт работы с ClickHouse Опыт streaming-обработки (Spark Streaming / Flink) Понимание моделей данных (Star/Snow?ake, Data Vault) Опыт работы в среде IaaC / GitOps Понимание принципов построения IP-сетей и базовых сетевых протоколов (IP, TCP/ UDP, маршрутизация, модель OSI) Понимание принципов MLOps Условия: Работа в аккредитованной IT компании; Трудоустройство в соответствии с ТК РФ; Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью); График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00); Возможность работать удаленно в рамках РФ; ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка; Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).