Обязанности: Spark:* Развертывание и настройка кластеров Spark, а также управление ими.* Оптимизация производительности и использования ресурсов кластера.* Взаимодействие с командой разработчиков машинного обучения (ML).* Внедрение решений для мониторинга и ведения логов кластера Spark.* Оптимизация работы Spark и настройка производительности. API Gateway:* Установка и настройка API Gateway, например, NGINX, Kong или Apigee.* Настройка маршрутизации, балансировки нагрузки и управления API. Развертывание БД:* Развёртывание и настройка реляционных баз данных, таких как PostgreSQL или MySQL, а также NoSQL баз данных, например, MongoDB или Cassandra.* Обеспечение резервного копирования, восстановления и репликации данных. Kafka:* Установка и настройка Apache Kafka.* Настройка кластеров Kafka, брокеров, тем и клиентов.* Обеспечение отказоустойчивости и мониторинга Kafka. Модули мониторинга и логирования:* Внедрение и настройка инструментов мониторинга, таких как Prometheus, Grafana или ELK Stack.* Настройка алертинга и мониторинга производительности систем и приложений. Требования: Опыт развёртывания и управления кластерами Spark. Уверенные знания одного из менеджеров кластеров Spark, таких как YARN или Mesos. Автоматизация процесса развёртывания и оптимизация CI/CD. Знание одного из инструментов создания сценариев и автоматизации, например, Ansible, Terraform или Jenkins. Опыт работы с технологиями контейнеризации, такими как Docker или Kubernetes. Опыт работы в Agile/Scrum командах. Способность решать сложные технические задачи и быстро осваивать новые технологии. Понимание принципов сетевой безопасности и лучших практик. Условия: Высокую заработную плату, обсуждаем индивидуально; Удаленную работу; Работа с интересными проектами и постоянное развитие; Мы всегда поддерживаем инициативы и творческий подход наших сотрудников; Дружный коллектив.
Похожие вакансии