Обязанности: Проектирование, внедрение и поддержка крупномасштабных Hadoop-кластеров. Оптимизация производительности и масштабирование Hadoop-экосистемы. Обеспечение безопасности и управление доступом к данным в Hadoop-среде. Интеграция Hadoop с другими системами и источниками данных. Экспертная поддержка, настройка и мониторинг существующих Hadoop кластеров. Решение сложных вопросов при эксплуатации Hadoop, устранение аварий и сбоев. Требования: Глубокое знание архитектуры Hadoop и его ключевых компонентов:- HDFS (Hadoop Distributed File System)- YARN (Yet Another Resource Negotiator)- Hive- Tez- HBase- Knox- Ranger- Livy- Kyuubi Опыт работы с Apache Hadoop версии 3.3 и выше, включая настройку и оптимизацию YARN и Timeline Service v2.3. Уверенное владение инструментами экосистемы Hadoop:- Настройка и администрирование HBase- Конфигурация и управление Knox для обеспечения безопасного доступа- Использование Ranger для управления политиками безопасности и аудита- Работа с Livy для взаимодействия с Apache Spark- Настройка и оптимизация Kyuubi для обеспечения многопользовательского доступа к Spark Опыт работы с распределенными системами хранения и обработки данных. Знание и опыт применения Proxy для балансировки нагрузки в Hadoop-кластерах. Глубокое знание JVM, включая настройку производительности, управление памятью и отладку. Опыт внедрения и настройки Single Sign-On (SSO) решений в среде Hadoop. Опыт работы с системами управления версиями (например, Git) и инструментами непрерывной интеграции/доставки (CI/CD). Понимание принципов безопасности данных и опыт их реализации в среде Hadoop. Способность диагностировать и решать сложные проблемы производительности в распределенных системах. Опыт работы с Puppet/Ansible для автоматизации настройки и управления инфраструктурой Hadoop. Уверенное владение bash-скриптингом для автоматизации задач и управления системами Linux. Условия: Сильная команда, с которой можно расти Петабайты данных и огромные мощности для их переваривания Сложные, нетривиальные задачи для маркетплейса с миллионами пользователей Возможность влиять на процесс и результат ДМС со стоматологией Гибкий график работы, гибридный и удаленный тоже рассматривается Достойная зарплата MacBook or Windows ноутбук
Похожие вакансии