Обязанности:
Международная продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, основная часть которых представляет собой развлекательные онлайн-сервисы, в поисках Data-engineer. Основными задачами будут: Поддержка и развитие хранилищ данных и ETL процессов; ClickHouse — сильный уровень. Проектирование витрин, DDL, семейство MergeTree (в т.ч. ReplacingMergeTree), dictionaries, партиционирование, оптимизация тяжёлых запросов, историческая прогрузка; CDC-процессы. Понимание принципов Change Data Capture и умение строить/поддерживать потоки из MySQL и MongoDB в ClickHouse: перевод источников/словарей на CDC, валидация, переключение потребителей, разбор рассинхронов. Практика с Kafka; ETL + оркестрация. Airflow (разработка и поддержка DAG-ов), выстроенный цикл dev → preprod → prod, Python для пайплайнов. Data Quality. Сверки источник ClickHouse, поиск и устранение расхождений, обработка типов/NULL, алертинг на доезд и качество данных, разбор багов данных до первопричины. Поддержка инфраструктуры и инструментов для разработки и запуска ETL процессов; Мониторинг работоспособности инфраструктуры и сервисов, оптимизация производительности; Анализ технических проблем и участие в их решении. Продвинутый SQL MongoDB — извлечение, нормализация вложенных структур, сверки с CH. Git/GitLab — работа через merge request, участие в код-ревью. Документирование(Confluence) — поддержка актуальной доки по витринам и пайплайнам. Какой опыт, знания и качества нужны: Опыт в администрировании и построении ETL процессов от 3 лет; Отличные знания SQL, умение писать сложные, оптимизированные запросы; Опыт работы с MySQL и Clickhouse; Отличные знания и опыт работы с NoSQL базами (MongoDB); Опыт проектирования и внедрения процессов Data Quality; Опыт мониторинга ETL-процессов; Опыт работы с Apache Airflow или аналогами Проектирование, внедрение и развитие CDC-процессов Большой практический опыт работы с Clickhouse Понимание архитектуры Clickhouse, знание движков таблиц Будет бонусом: Опыт работы с Google Analytics; Опыт работы с PowerBI или аналогами.Похожие вакансии