Data Engineer (ClickHouse / Kafka / MariaDB)

Data Engineer (ClickHouse / Kafka / MariaDB)Приветствую, меня зовут Марина, я являюсь HR компании“Амбрелла — Защита Информационных Систем”.Мы ищем экспертов по работе с данными и потоковой обработке, с сильным бэкграундом в построении data pipeline и высоконагруженных систем.Предполагается активная работа с ingestion, обработкой и хранением больших объемов данных в production. Обязанности- Проектирование и развитие data pipeline (ingestion → processing → storage)- Работа с потоковыми данными через Kafka- Проектирование и оптимизация схем в ClickHouse- Работа с реляционными БД (MariaDB) для transactional / operational задач- Оптимизация производительности запросов и хранения данных- Построение ETL / ELT процессов- Обработка и агрегация больших объемов данных (highload)- Настройка и сопровождение data-инфраструктуры- Диагностика и устранение инцидентов (troubleshooting)- Мониторинг и анализ работы data pipeline- Проведение code review- Подготовка технической документации- Взаимодействие с backend-разработчиками, DevOps и SIEM-инженерамиЕжедневный status report о ходе работ Требования: - Глубокий опыт работы с ClickHouse- Проектирование таблиц (MergeTree и др.)- Партиционирование и шардирование- Оптимизация запросов- Уверенный опыт с Kafka- Топики, партиции, consumer groups- Настройка producer/consumer- Понимание delivery semantics (at least once / exactly once)- Опыт работы с MariaDB / MySQL- Отличное знание SQL- Понимание архитектуры распределённых систем- Опыт построения ETL / streaming pipeline- Опыт работы с большими объемами данных (GB/TB+)- Опыт работы с Linux- Опыт автоматизации (Bash / Python)- Опыт работы с Docker- Понимание принципов отказоустойчивости и масштабирования Будет плюсом:- Kafka Connect / Kafka Streams / ksqlDB- Airflow / Dagster / Prefect- Debezium (CDC)- Опыт работы с columnar storage- Опыт работы с time-series / event data- Prometheus + Grafana- OpenSearch / ELK stack- Понимание SIEM / log pipeline- Опыт построения real-time аналитики- Опыт highload систем- Опыт DevOps / SRE- Опыт оптимизации хранения (TTL, compression, tiered storage)- Понимание сетевых протоколов- Наличие публичных проектов (GitHub / GitLab)- Опыт написания собственных ingestion / processing сервисов Обязательно:- Ссылка на GitHub / GitLab (pipeline, ingestion, SQL, сервисы)- Готовность к full-time работе- Опыт работы с production-системами- Готовность участвовать в on-call / incident response (при необходимости) Условия: - Работа в аккредитованной IT-компании- Дружный коллектив- Оформление по ТК РФ, оплачиваемый отпуск- График работы 5/2- Возможность работать над передовыми продуктами в сфере кибербезопасности- Удалённый формат работы Всегда рады новым талантам и новым успехам наших сотрудников!