Обязанности: Разработка и поддержка системы обработки данных на базе KAFKA и ClickHouse. Подключение базы данных RiskData в качестве консамера для загрузки данных из топиков KAFKA. Обеспечение гарантированной доставки данных в KAFKA (atleast once) из всех систем источников. Разработка архитектурных решений для систем, не способных гарантировать доставку данных. Использование версионного движка семейства MergeTree для хранения данных. Автоматическое шардирование данных, основываясь на идентификаторах событий и клиентов Обогащение данных клиентов данными событий, с соответствующим шардированием. Требования: Опыт работы с KAFKA и настройкой топиков. Глубокое знание базы данных ClickHouse, включая движки MergeTree. Умение работать с системами гарантированной доставки данных. Опыт в автоматическом шардировании данных. Понимание архитектуры систем обработки данных и умение разрабатывать решения для различных источников данных. Навыки в оценке объема данных и количества шардов. Опыт в работе с большими объемами данных и оптимизации их хранения и обработки. Будет плюсом: Опыт работы с RiskData. Понимание архитектуры систем событийно-ориентированных данных. Навыки работы с системами аналитики и построением схем данных. Условия: Мы оформляем официально и предлагаем стабильный и прозрачный доход Все льготы и преимущества работы в аккредитованной ИТ-компании Партнерские программы и скидки для сотрудников Удаленный формат работы
Похожие вакансии