Обязанности:
О проекте:Эксплуатируем аналитическую платформу на базе ClickHouse (single-node, 42 GB RAM). Данные поступают из 1С через REST API, на платформе работает внутренний дашборд на Next.js. Платформа строится сейчас, и мы хотим изначально сделать всё правильно, не тратя время на самостоятельный разбор тонкостей ClickHouse.В команде есть свои разработчики, 1С-специалисты и айтишники. Интеграции, инфраструктура, администрирование сервера - всё это закрываем сами. От вас нужна экспертиза именно по ClickHouse: архитектура таблиц, оптимизация запросов, надежные пайплайны.Задачи:- Диагностика и устранение периодического memory pressure (OOM) на сервере с 42 GB RAM;- Оптимизация тяжелых запросов: устранение полных сканов по 55M+ строк, настройка partition pruning;- Настройка лимитов памяти, профилей пользователей и приоритетов запросов;- Аудит таблиц движений и продаж (ReplacingMergeTree, SummingMergeTree): дубли, double-counting в Materialized Views;- Проектирование ETL-пайплайна: staging - целевые таблицы, идемпотентность, корректная дедупликация;- Настройка расписаний обновления агрегатов, сверки данных и алертов на аномалии.Перспектива:Это первый дашборд из 5-6 запланированных. Рассчитываем на долгосрочное сотрудничество: задачи будут появляться регулярно по мере роста аналитической платформы. Формат гибкий - проект, подработка, частичная занятостьТребования:- Опыт администрирования и оптимизации ClickHouse в production от 2 лет;- Понимание движков MergeTree, ReplacingMergeTree, SummingMergeTree и их подводных камней;- Опыт с Materialized Views, дедупликацией (FINAL, OPTIMIZE), partition pruning;- Оптимизация запросов: чтение планов выполнения, индексы;- Проектирование ETL-пайплайнов (staging - target): обработка дублей, идемпотентность;- Уверенный SQL: оконные функции, CTE, агрегации по большим объемам данных.Будет плюсом:- Опыт работы в условиях ограниченных ресурсов (single-node, лимиты RAM);- Знание Next.js / TypeScript (для понимания контекста потребителя данных);- Опыт миграции с single-node на кластер ClickHouse (на перспективу). Условия: Удаленная работа. Гибкий график. Формат и оплата обсуждаются индивидуально в зависимости от объема участия.Как откликнуться:В сопроводительном письме расскажите кратко:1. Ваш опыт с ClickHouse: объемы данных, количество нод, типичные задачи;2. Самый сложный кейс, который решали (memory, дедупликация, пайплайны);3. Ожидания по формату и оплате.Похожие вакансии
Договорная
Москва. Станции метро: Перово, Жулебино, Котельники, Ухтомская
Лига Цифровой Экономики
Договорная
Москва. Станции метро: Перово, Жулебино, Котельники, Ухтомская
ЛАНИТ
Database Administrator/DBA Clickhouse
Договорная
Москва. Станции метро: Перово, Жулебино, Котельники, Ухтомская
Marfatech
Администратор баз данных (ClickHouse)
Договорная
Москва. Станции метро: Перово, Жулебино, Котельники, Ухтомская
YADRO
DevOps-инженер в команду продукта Kafka/ClickHouse
Договорная
Москва. Станции метро: Перово, Жулебино, Котельники, Ухтомская
VK
DevOps-инженер в команду продукта Kafka/ClickHouse
Договорная
Москва. Станции метро: Перово, Жулебино, Котельники, Ухтомская
VK