Обязанности:
О компании Мы — HFT-фонд, торгующий на классических биржах во всех основных регионах. Управляем собственным кластером (30+ серверов, 100+ GPU, 500+ ТБ данных), 10+ серверами на биржевых колокациях и активно развиваем облачную инфраструктуру в AWS. О роли Мы ищем Senior DevOps / Infrastructure Engineer, который возьмёт на себя ответственность за пайплайны обработки и хранения рыночных данных. Ключевые задачи Разобраться в текущей архитектуре: потоки данных от колокаций до кластера и S3, форматы хранения (pcap → hdf5), существующие скрипты и автоматизация Взять на себя мониторинг и поддержку пайплайнов записи pcap на колокациях и их доставки на кластер Построить и поддерживать автоматические тесты для проверки собранных маркет-данных на корректность и полноту (пропуски, аномалии, целостность) Тестировать сборку маркет-данных: валидация пакетов данных перед публикацией для внутренних потребителей Принимать и обрабатывать запросы от внутренних пользователей (ресёрчеры, трейдеры) на изменение состава и набора данных в собранных пакетах Поддерживать процесс управления требованиями к данным: что собираем, в каком формате, с какой гранулярностью Спроектировать и реализовать целевую архитектуру пайплайнов обработки данных с учётом роста объёмов (текущий ingest ~1 ТБ/день) Развивать гибридную инфраструктуру: on-prem кластер + AWS (хранение, вычисления, масштабирование) Что мы ожидаем Must have: 5+ лет опыта в DevOps / Infrastructure / SRE, желательно в финтех, трейдинге или data-intensive окружениях Уверенное владение Linux на уровне администрирования (сети, файловые системы, производительность) Опыт работы с Kubernetes (bare metal / self-managed) — деплой, troubleshooting, настройка Опыт с AWS: S3, EC2, EKS, IAM, VPC; понимание принципов построения гибридной инфраструктуры Python и Bash для автоматизации инфраструктурных задач Опыт построения data pipelines: выкачка, обработка, хранение больших объёмов данных Опыт работы с CI/CD (GitLab CI) Опыт с системами мониторинга (Zabbix, Prometheus/Grafana или аналоги) Умение работать с legacy-инфраструктурой: разобраться, задокументировать, принять решение — чинить или строить заново Nice to have: Опыт работы в HFT / алготрейдинге / квантовых фондах Опыт с IaC (Terraform, Ansible) Опыт работы с сетевой инфраструктурой колокаций и low-latency окружений Опыт миграции on-prem → cloud или построения гибридных решений Знакомство с инструментами оркестрации данных (Airflow, Prefect, Dagster) Условия Локация: Москва или Кипр (Лимасол) Офис или гибридный формат (офис + удалёнка) При базировании в Москве — регулярные командировки на Кипр для онбординга. Конкурентная компенсация (обсуждается в зависимости от локации и опыта) Работа в небольшой технической команде с прямым доступом к CTO Возможность принимать архитектурные решения и строить инфраструктуру, а не только поддерживатьПохожие вакансии
Договорная
Москва. Станции метро: Полянка, Новокузнецкая, Третьяковская
Спортлевел
От 450 000 руб.
Москва. Станции метро: Полянка, Новокузнецкая, Третьяковская
Gradient
Договорная
Москва. Станции метро: Полянка, Новокузнецкая, Третьяковская
Positive Technologies
Договорная
Москва. Станции метро: Полянка, Новокузнецкая, Третьяковская
FinFort
Договорная
Москва. Станции метро: Полянка, Новокузнецкая, Третьяковская
QROQO LIMITED
Договорная
Москва. Станции метро: Полянка, Новокузнецкая, Третьяковская
Spice IT