Обязанности:
Задачи: Обеспечивать сопровождение ETL-процессов AirFlow, Spark. Развивать общую инфраструктуру в двух дата-центрах (разработка инфраструктурного кода и способов его деплоя, покрытие этого кода тестами). Настраивать системы мониторинга и алертинга (мы используем Prometheus, VictoriaMetrics, Grafana). Создавать и улучшать CI/CD пайплайны. Понимание и следование принципам построения отказоустойчивых систем. Мы ждем от кандидата: Хорошие знания ОС Linux (процессы, файловая система, инструменты отладки, сети); Понимаешь подход IaC, работал с системами управления конфигурациями (Ansible, Terraform); Имеешь опыт работы с контейнерами и оркестрацией (Kubernetes, Helm, Docker); Знаешь как внедрить CI/CD процессы (у нас GitLab); Имеешь опыт построения мониторинга и траблшутинга на базе систем мониторинга и агрегации логов (Prometheus, Grafana, ELK, Loki, VictoriaMetrics, etc.). Будет плюсом: Опыт работы с аналитическими инструментами и системами (Airflow, Kafka, ClickHouse, Spark, Flink, JupyterHub, Nifi). Знание Python/Bash для создания дополнительных автоматизированных решений. Опыт администрирования СУБД (postgres, clickhouse, mongodb). Опыт работы с cloud провайдерами (aws, yandex cloud).Похожие вакансии