Обязанности:
Медиапоинт - digital-платформа игровой тематики. Мы работаем не только на территории России, но и на международном рынке. В нашу молодую и дружную команду ищем Senior/Middle Data Engineer! В ваши задачи будет входить: Проектирование и разработка высокопроизводительных data pipelines с использованием Apache Kafka и Apache NiFi для обработки и интеграции данных в режиме реального времени; Настройка и управление оркестрацией ETL/ELT процессов с помощью Apache Airflow и dbt; Оптимизация и поддержка реляционных баз данных (Postgres/MySQL) и аналитических хранилищ данных, таких как Clickhouse; Управление хранилищами данных и системами для работы с большими данными (такими как, S3/Minio) и их интеграция с системами анализа данных, такими как Apache Spark; Автоматизация задач мониторинга и обеспечения надежности потоков данных; Работа над повышением производительности и надежности процессов обработки данных с учетом требований безопасности и отказоустойчивости; Взаимодействие с командами разработки и аналитики для обеспечения бесперебойного доступа к данным; Разработка и внедрение стратегий по управлению данными, их качества и доступности; Что мы от вас ожидаем: Отличное знание SQL, Python; Опыт работы с потоковыми платформами, такими как Apache Kafka; Глубокое понимание и опыт работы с Apache NiFi для построения потоков данных и управления интеграцией; Знание систем оркестрации процессов, таких как Apache Airflow, и инструментов трансформации данных, таких как dbt; Хорошее знание реляционных баз данных (Postgres, MySQL) и аналитических хранилищ данных, таких как Clickhouse; Опыт работы с системами хранения данных, такими как S3/Minio или HDFS, и инструментами для работы с большими данными, такими как Apache Spark, Flink; Опыт создания и поддержки ETL/ELT процессов в production среде; Знание принципов построения отказоустойчивых и масштабируемых систем для работы с большими объемами данных; Опыт настройки и оптимизации производительности баз данных и хранилищ данных; Приветствуется опыт работы с CI/CD для автоматизации процессов обработки данных; Что мы можем предложить: Возможность полностью работать удаленно из любой точки мира или в офисе (Москва, Кипр) для желающих поработать в формате коворкинга или с закрепленным рабочим местом; Оформление в штат компании и не только; Возможность получать зп в любой валюте; Плавающее начало дня, 8 часов рабочий день; Разнообразные корпоративные программы.Похожие вакансии