Обязанности:
Мы — команда разработки внутреннего решения для хранения и поиска данных. Наше решение обеспечивает выполнение требований безопасности ряда сервисов VK. С нашим решением интегрированы 8 крупных продуктов VK, но нужно подключить ещё десятки сервисов. В хранилище для горячих поисковых запросов уже порядка 800 ТБ данных, и объёмы стремительно растут. Сейчас мы в поиске Go-разработчика, который будет принимать участие в поддержке и доработке существующих решений для data lake и DWH, а также в новых интеграциях с другими командами. Основные обязанности будут включать в себя разработку новых ETL-процессов, организацию потоков данных, написание генераторов тестовых данных, улучшение наблюдаемости систем ETL. Задачи Настройки и анализ дашбордов мониторинга системы (метрики мониторинга по сервисам передачи данных: полнота, процент потерь) и постановка задач на подготовку дополнительных дашбордов Анализ логов компонент системы для выявления проблем на различных участках интеграций Доработка/уточнение внутренних спецификаций на передачу данных (исправление ошибок в описании контрактов интеграций) Разработка новых ETL-процессов Организация потоков данных Написание генераторов тестовых данных Улучшение наблюдаемости систем ETL Работа с логами в ELK, Graylog Требования Опыт анализа метрик по данным на дашбордах Grafana или в аналогичном инструменте визуализации метрик Опыт анализа логов в Kibana или аналогичном инструменте визуализации логов Опыт работы c Git Скрупулёзность и внимательность к деталям Будет плюсом Знакомство с дизайн-паттернами интеграций (контракт по данным, контракт по API) Знакомство с архитектурными стилями организации межсервисного взаимодействия (REST, gRPC, MQ) Опыт работы с брокерами сообщений (Kafka, RabbitMQ или аналоги) Опыт работы в кросс-функциональных продуктовых командахПохожие вакансии