Обязанности:
Проект крупного Банка - ТОП3 - Центр Корпоративных Решений. Отвечаем за все виды удаленного обслуживания юридических лиц. Твои задачи: Трансформировать сырые данные (бинлоги, события, транзакции) в чистые, оптимизированные витрины данных для BI-систем и ad-hoc аналитики Выбирать правильную модель данных (схема «звезда», плоские таблицы) в зависимости от бизнес-задач Оптимизировать структуру таблиц: выбирать ключ сортировки (ORDER BY) и партиционирования (PARTITION BY), использовать Skip Indexes и TTL. Контролировать качество данных и проводить валидацию Разрабатывать автоматические тесты и чеки на корректность данных в витринах (подсчет контрольных сумм, сравнение с эталоном, проверка на «дыры») Мониторить производительность запросов к витринам Искать и устранять причины «медленных» запросов Писать документацию и проводить внутренние митапы для аналитиков и смежных разработчиков Что мы ждем от тебя: Коммерческий опыт работы с ClickHouse от 1 до 3+ лет Понимание движка MergeTree: Вы не просто пишете INSERT и SELECT, а понимаете, как работают первичные индексы, что такое гранулы и как разреженный индекс влияет на скорость. Опыт проектирование схем: Умение различать Order By и Primary Key в ClickHouse и правильно выбирать их для конкретных бизнес-срезов. Опыт написания тестов для пайплайнов данных. Понимание, что дата-инженер отвечает не только за скорость, но и за то, чтобы цифры в отчетах были верными. Опыт написания сложных запросов с оконными функциями, JOIN (с пониманием их ограничений в ClickHouse), работа с массивами и Nested типами. Готовность объяснять сложное простыми словами. Опыт обучения коллег будет вашим плюсом.Похожие вакансии