Обязанности:
Playerok — это маркетплейс цифровых товаров и услуг. Мы соединяем покупателей и продавцов, берём на себя безопасность сделки и запускаем собственные продукты. Строим масштабный бизнес на быстрорастущем рынке, на стыке гейминга, финтеха и e-commerce. Мы ищем Data Engineer, который будет развивать нашу платформу данных: строить и поддерживать пайплайны загрузки данных в ClickHouse и PostgreSQL, развивать слои данных (staging, DDS, витрины) и обеспечивать их стабильную работу. Отдельное направление - настройка репликации данных из операционных баз в аналитическое хранилище через CDC (Debezium + Kafka). Чем придется заниматься: 1. Разрабатывать и поддерживать ETL/ELT пайплайны в Airflow: загрузка данных из внутренних систем и внешних источников в ClickHouse и PostgreSQL. 2. Развивать слои данных (staging, DDS, витрины) с помощью dbt: модели, инкрементальная загрузка, тесты, документация. 3. Настраивать и сопровождать репликацию данных из операционных PostgreSQL-баз в DWH через CDC (Debezium, Kafka). 4. Оптимизировать хранение и запросы в ClickHouse: схемы таблиц, партиционирование, ключи сортировки, материализованные представления. 5. Следить за качеством данных: тесты, валидация витрин, алертинг при сбоях пайплайнов. 6. Участвовать в code review и развитии инженерных практик команды (Git, CI/CD). Что мы ожидаем: 1. ClickHouse: опыт проектирования таблиц (семейство MergeTree), понимание партиционирования и ключей сортировки, умение оптимизировать запросы. Опыт с материализованными представлениями будет преимуществом. 2. PostgreSQL: уверенная работа, понимание индексов и планов запросов. Понимание механизмов репликации (физическая и логическая, слоты репликации) - как минимум на уровне концепций. 3. Airflow: опыт построения DAG, инкрементальная загрузка (по времени, по ID), backfill, обработка ошибок и ретраи. 4. dbt: написание моделей (table/view/incremental), тесты, документация. Понимание, зачем нужен lineage. 5. CDC: понимание принципов Change Data Capture. Практический опыт с Debezium - сильное преимущество; готовы рассматривать кандидатов, которые работали с CDC другими инструментами и готовы быстро освоить Debezium. 6. Kafka: понимание базовых концепций - топики, партиции, консьюмеры и consumer groups, offset management, гарантии доставки. Глубокий опыт администрирования не требуется. 7. SQL - свободно, включая оконные функции. Python - уверенно (обработка данных, работа с API, clickhouse-driver). 8. Git и базовое понимание CI/CD (GitLab CI / GitHub Actions). Будет плюсом: 1. Опыт интеграции Kafka с ClickHouse (Kafka Engine, Kafka Connect). 2. Опыт работы с Docker и Kubernetes. 3. Опыт работы с S3 / MinIO как промежуточным слоем. 4. Понимание методологий моделирования данных (Data Vault, dimensional modeling, SCD type 2). 5. Опыт настройки мониторинга и алертинга пайплайнов (например, в Slack / Telegram). Что предлагаем Удаленный формат сотрудничества. 200 000 руб — стартовая вилка, итоговая сумма обсуждается по опыту. Возможность выбрать форму сотрудничества и оплаты (все налоги — наша забота). Онбординг-квест — не бросим в бой без подготовки, введем в курс дела и подключим к команде. Занятость 5/2 с 8-часовым рабочим днем. Команда профи— работаешь с инициативными и увлеченными коллегами. Пауза на восстановление — «перезагрузиться» можно в оплачиваемом отпуске или на больничном. Откликайся на вакансию — это первый шаг к тому, чтобы стать частью команды, которая меняет правила игры. Ваш ход! 🎮Похожие вакансии