Обязанности:
Задачи: Оркестрация процессов: Разработка, поддержка и оптимизация DAG-ов в Apache Airflow. Создание динамических дагов, управление зависимостями и SLA; Архитектура и моделирование DWH: Проектирование слоев хранилища. Выбор методологий моделирования применительно к колоночной СУБД; Разработка в ClickHouse: Создание и поддержка сложных витрин данных. Активное использование Materialized Views для предварительной агрегации данных; Оптимизация производительности: Глубокий тюнинг движков таблиц (MergeTree Family), настройка ключей сортировки (Primary/Sorting keys), сэмплирования и TTL. Работа с проекциями и вторичными индексами; Обеспечение качества данных: внедрение проверок на всех этапах пайплайна, мониторинг свежести и корректности данных. Требования: Стек баз данных: Глубокое знание SQL и опыт работы с ClickHouse (понимание архитектуры, шардирования/репликации). Опыт работы с транзакционными БД: PostgreSQL, MSSQL, Oracle; SQL: Виртуозное владение SQL (оконные функции, массивы, работа с JSON, оптимизация query plan); Концепции проектирования: Понимание общих концепций работы БД (нормальные формы, SCD, звезды/снежинки/DV/Anchor); Python: Уверенное владение языком (OOP, requests, pandas/numpy, sqlalchemy). Умение писать чистый, тестируемый и поддерживаемый код. Будет преимуществом: Опыт миграции данных из других СУБД (PostgreSQL, Oracle, MSSQL) в ClickHouse; Опыт работы с Apache Spark (PySpark); Опыт работы с dbt (data build tool) в связке с ClickHouse. Условия: Трудоустройство по ТК РФ, полностью "белая" заработная плата; График 5/2, работа по часовому поясу МСК с гибким началом рабочего дня: 9:00 или 10:00; Удаленку, при желании - возможность посещать наш уютный офис в Москве; Отсутствие бюрократии. Быстрое согласование: коммуникация с коллегами в Telegram, митапы в zoom, задачи в Jira, база знаний в Confluence; ДМС после прохождения испытательного срока, включая стоматологию; Спорт и крутые корпоративные мероприятия: Гонка героев, сплав в Уфе и Карелии, соревнования по футболу, настольному теннису, картингу, беговой клуб и другие.Похожие вакансии