Инженер данных

RDP - ведущий российский производитель сетевых решений. Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе. Одна из ключевых особенностей нашей компании – поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения. Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика. Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др. Обязанности: Разработка, оптимизация и масштабирование ETL/ELT-процессов, включая автоматизацию сбора, трансформации и загрузки данных из разнородных источников; Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake); Разработка и поддержка витрин данных для аналитики и бизнес-отчетности; Оптимизация производительности и надежности процессов обработки данных (SQL, Spark, Airflow); Обеспечение качества данных через внедрение автоматизированных проверок, систем мониторинга и механизмов оповещения; Взаимодействие с аналитиками, специалистами Data Science и бизнес-заказчиками; Ведение и актуализация технической документации (архитектура, процессы, API, SLA). Требования: Отличные знания Python, включая использование библиотек для работы с данными (например, Pandas, PySpark), автоматизацию задач и реализацию логики ETL; Свободное владение SQL, включая оптимизацию запросов и работу с большими объемами данных; Опыт работы с основными инструментами и технологиями: Airflow, Spark, dbt, ClickHouse, S3, Kafka; Понимание принципов построения ETL/ELT-процессов и архитектуры DWH/Data Lake; Практический опыт работы с системами контроля версий (Git) и понимание CI/CD процессов, знание принципов тестирования кода; Опыт использования Terraform или Ansible для управления инфраструктурой; Понимание принципов Data Governance, управления качеством данных и метаданными; Опыт работы с Hadoop-экосистемой (HDFS, Hive и др.). Условия: ​​​​​​​ Работа в аккредитованной IT компании; Трудоустройство в соответствии с ТК РФ; Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью); График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00); Возможность работать удаленно в рамках РФ; ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка; Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).