Обязанности:
Команда сервисов транспорта и обработки данных отвечает за: Data Transfer— сервис репликации данных между различными системами хранения и обработки. Решает задачи миграции production-баз, поставки данных в OLAP-хранилища, CDC, архивации и другие Сервисы хранения и управления метаданными — информации об источниках данных, подключениях, схемах и т. д. Наши разработки помогают крупнейшим российским компаниям и сервисам Яндекса (Yandex Cloud, Маркет, Такси, Поиск и др.) решать разовые задачи и строить production-системы поставки и обработки данных. Ищем бэкенд-разработчиков, которым интересны работать со внутренним устройством БД и распределёнными системами, строить системы и пайплайны обработки и хранения данных. Технологии: Пишем на Go и немного на C++ Активно используем облачную инфраструктуру, в том числе IaC-решения Разбираемся в различных БД и распределённых очередях, например PostgreSQL, ClickНouse, Greenplum, Kafka Какие задачи вас ждут Работа над механизмом поставки exactly onceПредстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly once для тех хранилищ, где она не поддерживается из коробки. Развитие сервиса Data TransferВы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса. Инфраструктурные задачиПоддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники. Мы ждём, что вы: Хотите работать с различными БД и их внутренним устройством, с распределёнными системами Любите строить системы и пайплайны обработки и хранения данныхПохожие вакансии