Обязанности:
Чем предстоит заниматься: следить в приложениях и в кубере за выполнением заданий, своевременно реагировать на падения; своевременно обновлять секреты, доступы; разрабатывать низкоуровневые темплейты - управление ресурсами запускаемых задач, оптимизировать расписания; разрабатывать ci/cd пайплайны; Доработать и сопровождать flink, kafka; управлять scaling'om - динамическим распределением ресурсов в кубернетес и прочими разрешениями, для сетевых и вычислительных ресурсов; подключать новые источники к dbt, omd; настраивать среды разработки dbt models и openmetadata validators, консультировать по разработке omd валидаторов и dbt моделей; разрабатывать высоконагруженные источники, с которыми перестал справляться airflow - на базе низкоуровневого сервиса datahub. Чего мы ждем от тебя: хорошие навыки в командной строке кубер, helm, docker - cобираем всё с нуля (from scratch) в контуре ci/cd; желательно профессиональный бекграунд в datascience и/или дата инженер; М предлагаем: Удаленный формат работы, 5/2, гибкое начало рабочего дня.Похожие вакансии