Обязанности:
Мы аккредитованная ИТ-компания, которая разрабатывает IT-решения по автоматизации торговых операций с разными видами активов для профессиональных участников финансового рынка. Обязанности: развитие распределенного хранилища рыночных данных (market data) на основе кластера БД Clickhouse оптимизация схем таблиц для лучшей производительности c учетом специфики time-series данных и колоночного (columnar) формата хранения данных выбор оптимальной схемы partitioning и построение оптимальных индексов с учетом требований пользователей (быстрая выборка по биржевому инструменту и интервалу времени) организация сбора данных из множества источников на разных серверах по всему миру организация регулярного резервного сохранения данных в БД clickhouse на массивы HDD настройка и сопровождение приложений/скриптов для загрузки данных (realtime streaming/night batching) с торговых/маркет‑серверов в центральное хранилище обеспечение надёжной доставки и целостности данных (повторные попытки, контроль потерь) контроль использования пропускной способности интернет-каналов в рамках выделенной квоты разработка и поддержка систем мониторинга и уведомлений на основе метрик записанных данных (объём, задержки, ошибки загрузки) - на основе python+dash или grafana осуществление мониторинга и поддержки системы сбора данных, восстановление после сбоев Требования: 3–5 лет опыта работы с высоконагруженными БД / хранилищами данных уверенный linux: файловые системы, I/O, мониторинг понимание сетей (TCP/IP vs UDP, latency, MTU, балансировка) bash scripting (ssh, scp, rsync, df, du, find, grep, awk, perl etc) отличное владение SQL (опыт с PostgreSQL / Clickhouse) понимание особенностей time‑series (высокая частота записей, проблемы с as of join) - практика хотя бы с одним: ClickHouse (предпочтительно) / TimescaleDB (Postgres time series extensions) опыт с репликацией, копированием, backup и recovery процедурами опыт с конфигурацией и эксплуатацией кластера БД/ClickHouse. Настройка реплик опыт разработки MATERIALIZED VIEW опыт работы с prometheus и grafana git (базовые механизмы git clone/git pull/git push/git merge/git rebase) tcpdump (при решении проблем) базовые знания языка C и языка python (хороший навык разработки на python - значимый плюс) понимание особенности часов в ОС linux (REALTIME/MONOTONIC) и протоколов синхронизации времени (NTP/PTP) понимание особенностей работы с timezone в OC linux Условия: оформление по ТК РФ работа в аккредитованной IT-компании ДМС после прохождения испытательного срока полностью официальное трудоустройство по ТК РФ работа удаленно
Похожие вакансии