Обязанности:
Чем предстоит заниматься Поддерживать, развивать и мониторить существующие Hadoop кластера (у нас их несколько) Автоматизировать процедуры развертывания/обслуживания кластера Анализировать и устранять проблемы производительности различных компонент Hadoop кластера Планировать горизонтальный и вертикальный роста кластера Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных Помогать аналитикам и разработчикам в их ежедневной работе с Hadoop Что для этого нужно Практические навыки администрирования Hadoop (Hive, HDFS, YARN, Kerberos + Sentry)Cloudera, Hortonworks, Apache Hadoop Глубокие знания Linux Любовь к автоматизации задач на скриптовых языках (shell/awk/sed, python) Опыт работы с системами мониторинга (Zabbix) Приветствуется знание Spark, Airflow, Kafka и инструментов аналитикиПохожие вакансии