Проект Импортозамещение оперативного хранилища данных. Цель проекта: импортозамещение ODS Oracle на стек Arenadata Hadoop, внедрение LakeHouse с раздельным storage и compute. Сейчас продумано архитектурное решение, выбраны технологические компоненты, проведены пилоты, начаты работы по построению сервисного ядра ODS. Предстоит: построить сервисное ядро поставки данных от систем-источников до ODS и передачи от ODS системам-потребителям, реализовать реконсиляцию, мониторинг, развернуть целевую промышленную инфраструктуру, протестировать и запустить решение. Обязанности, задачи: Обеспечение надежности, доступности и производительности Hadoop кластера оперативного хранилища данных. Стек: Hadoop, Postgres, Spark, Airflow, Impala, Trino. Требования к кандидату: Необходим опыт администрирование следующих систем: - Linux подобных ОС- Экосистемы Hadoop (HDFS, YARN, Hive, Spark)- Postgres- Trino- Airflow Понимание работы Git и CI/CD; Знание одного из языков программирования (Java, Python) на уровне чтения кода; Уметь настроить мониторинг, алертинг с помощью Prometheus, Grafana или с помощью их аналогов; Понимание систем аутентификации и авторизации и знание инструментов Kerberos и Ranger. Условия: Амбициозные, интересные задачи с возможностью проявить себя, возможность профессионального развития и карьерного роста; Работа в сплочённом коллективе единомышленников; Гибкий график рабочего дня, возможность смешанного режима работы (гибрид/удаленно); Оформление согласно ТК РФ; Полис ДМС (со стоматологией) после испытательного срока; Наши офисы: Теплый Стан ул.Профсоюзная 125А , Пресненская Набережная 10с2.
Похожие вакансии