Обязанности:
Задачи, которые мы предлагаем: Spark: Развертывание, настройка кластеров Spark и управление ими Оптимизация производительности кластера и использования ресурсов Общение с командой разработки ML Внедрение решений для мониторинга и ведения логов для кластера Spark Оптимизации Spark и настройки производительности API Gateway: Установка и настройка API Gateway (например, NGINX, Kong, Apigee) Настройка маршрутизации, балансировки нагрузки и управления API Развертывание БД: Развертывание и настройка реляционных (например, PostgreSQL, MySQL) или NoSQL баз данных (например, MongoDB, Cassandra) Обеспечение резервного копирования, восстановления и репликации данных Kafka: Установка и настройка Apache Kafka Настройка кластеров Kafka, брокеров, тем и клиентов Обеспечение отказоустойчивости и мониторинга Kafka Модули мониторинга и логирования: Внедрение и настройка инструментов мониторинга (например, Prometheus, Grafana, ELK Stack) Настройка алертинга и мониторинга производительности систем и приложений Знания и навыки, которые для нас важны: Опыт развертывания и управления кластерами Spark. Уверенные знания одного из менеджеров кластеров Spark (YARN, Mesos). Автоматизация процесса развертывания и оптимизация CI/CD. Знание одного из инструментов создания сценариев и автоматизации (Ansible, Terraform, Jenkins). Опыт работы с технологиями контейнеризации (Docker, Kubernetes). Будет плюсом: Опыт работы с PySpark, Scala. Понимание принципов сетевой безопасности и лучших практик. Опыт работы в Agile/Scrum командах. Способность решать сложные технические задачи и быстро осваивать новые технологии. Опыт работы в области инфраструктуры ML и инженерии данных.Похожие вакансии