LIAN — системный интегратор с фокусом в аналитике и управлении данными. Мы работаем в трех направлениях: 1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО. 2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию. 3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.Мы ищем инженера, который станет владельцем аналитической инфраструктуры на базе ClickHouse. Обязанности: 1. Проектирование и разработка витрин данных Трансформация сырых данных (бинлоги, события, транзакции) в оптимизированные витрины для BI и ad-hoc аналитики. Выбор модели данных (звезда, снежинка, плоские таблицы) в зависимости от бизнес-задач. Проектирование таблиц под MergeTree: корректный выбор ORDER BY и PRIMARY KEY; партиционирование (PARTITION BY); настройка TTL; использование Skip Indexes; работа с материализованными представлениями. Оптимизация запросов и структуры хранения данных.2. Контроль качества данных Разработка автоматических проверок и тестов для витрин (контрольные суммы, сверка с эталоном, поиск «дыр» в данных). Построение мониторинга качества данных и SLA. Анализ и устранение медленных запросов. Работа с EXPLAIN, system.tables, system.query_log.3. Обучение и стандартизация Разработка внутренних гайдлайнов по работе с ClickHouse. Проведение код-ревью SQL-запросов и логики трансформаций. Проведение внутренних митапов и консультаций для аналитиков. Формирование культуры эффективной работы с данными.4. Администрирование и эксплуатация Настройка конфигурации серверов (память, потоки, max_memory_usage и др.). Работа с распределенным кластером: шардирование, репликация. Оптимизация нагрузки и профилей настроек (profiles). Поддержка streaming ingestion (Kafka → ClickHouse). Требования: Обязательные: Коммерческий опыт работы с ClickHouse от 1–3+ лет. Глубокое понимание движка MergeTree: первичные и разреженные индексы; гранулы; влияние ORDER BY на производительность. Опыт проектирования схем хранения данных под аналитические нагрузки. Продвинутый SQL: оконные функции; сложные JOIN (с учетом ограничений ClickHouse); работа с массивами, Nested-типами. Опыт построения ETL / ELT-пайплайнов. Навыки валидации и тестирования данных. Готовность выступать внутренним экспертом и наставником.Будет плюсом: Опыт администрирования Linux. Работа с распределенными кластерами ClickHouse. Опыт работы с Apache Kafka и ClickHouse Kafka Engine. Знание PostgreSQL и понимание различий OLTP vs OLAP. Опыт работы в highload-проектах. Условия: Трудоустройство по ИП/СЗ Гибридный график работы, 1-2 дня в офисе, офис в г. Москва, м. Кутузовская Работа с современными и передовыми технологиями Широкие возможности для профессионального и карьерного роста
Похожие вакансии