В международную digital-платформу игровой тематики ищем Senior Data Engineer. Обязанности: Разработка ядра хранилища на базе распределенного кластера ClickHouse Проектирование и поддержка архитектуры кластера ClickHouse совместно с архитектором; Оптимизация репликации и балансировки нагрузки для обеспечения высокой производительности и стабильности. Создание шаблонных (эталонных) пайплайнов данных Создание шаблонных пайплайнов для получения сырых данных, расчёта витрин и детального слоя хранилища; Проведение код-ревью ETL-процессов в Apache Airflow, Prefect, dbt и Kafka Connect на соответствие архитектуре и code style. Анализ и улучшение процессов Анализ источников данных и их потребителей; предложения по улучшению работы пайплайнов; Анализ архитектуры данных на логическом, концептуальном и физическом уровнях. Командная работа и документация Декомпозиция задач для инженеров данных; Эффективное взаимодействие в команде; Подготовка и актуализация технической документации. Мониторинг и оптимизация производительности Мониторинг платформы данных с помощью Grafana; Улучшение производительности системы и устранение узких мест. Наш технологический стек Базы данных: ClickHouse, PostgreSQL, MySQL; Обработка данных: Kafka Connect, Apache Airflow, Apache Spark, dbt, Prefect; Визуализация: Superset, JupyterHub, Power BI; Инфраструктура: Kubernetes, Ansible, GitLab, Teleport, Grafana, Prometheus; Управление проектами и документация: Jira, Confluence, Archimate. Профессиональные навыки: Подтверждённый экспертный опыт работы с распределенным кластером ClickHouse; Глубокое понимание принципов организации хранилищ данных и архитектуры DWH; Опыт проектирования и внедрения аналитических систем и хранилищ данных; Великолепное владение SQL и Python; Глубокая экспертиза в операционных системах семейства Linux; Опыт внедрения процессов DataOps: Git, CI/CD, Kubernetes; Приветствуется опыт работы с Apache Spark.; Высшее техническое образование; Владение английским языком на уровне чтения технической документации. Условия: Оформление с первого рабочего дня, соблюдение ТК; Гибкий рабочий график 5/2; Развитая корпоративная культура; Удаленная работа из любой точки мира, есть офисы в Москве и на Кипре.
Похожие вакансии