Архитектор данных (команда АС ЦАРС)

АС ЦАРС — это централизованный архивный сервис, масштабный продукт, который охватывает всю Россию. У нас хранятся все документы всех отделений банка: электронные, физические и не только. Мы знаем, когда, где, во сколько и через чьи руки проходил документ по пути от отделения в хранилище и из хранилища в утилизацию. В хранилищах трудятся 1000 человек и сотни роботов, да, мы используем полностью автоматизированные хранилища с разреженным воздухом. Наш продукт упрощает жизнь сотрудникам банка и внешним контрагентам, предоставляет возможность найти и получить скан документа или заказать оригинал с доставкой. Продукт является облачным решением в контейнерной среде, построен в микросервисной архитектуре и активно развивается. Вся наша разработка разбита на множество кросс-функциональных команд, в каждой из которых есть представители разных функций — аналитики, разработчики, специалисты по качеству, продуктовые менеджеры. Команда формируется вокруг определённой части сервиса, а её состав определяется направлением деятельности. Обязанности развитие и сопровождение СУБД: оптимизация конфигурации, мониторинг нагрузки, планирование ёмкости (Capacity Planning) и устранение инфраструктурных узких мест архитектурное проектирование данных: дизайн схем для новых микросервисов, выбор стратегий шардирования и партиционирования, ревью архитектурных решений аналитиков на соответствие реляционной модели. построение потоков данных и аналитики: настройка логической репликации и CDC между кластерами, развитие Greenplum (distribution keys, ресурсные очереди), управление ETL-процессами в экосистеме Hadoop (HDFS/Hive/Oozie/YARN) оптимизация производительности SQL: рефакторинг сложных запросов, анализ планов выполнения, разработка хранимых процедур (PL/pgSQL) и проведение массовых трансформаций больших объёмов данных. управление жизненным циклом данных: миграция данных между версиями СУБД или движками без даунтайма, вывод из эксплуатации устаревающих компонентов, обеспечение отказоустойчивости и резервного копирования экспертная поддержка разработки: активное участие в код-ревью SQL-запросов разработчиков, консультирование по выбору индексов и типов данных, помощь 2–3 линиям поддержки в расследовании инцидентов (блокировки, ожидания) мониторинг и автоматизация процессов: внедрение мониторинга метрик БД (Prometheus/Grafana/Zabbix), написание скриптов автоматизации (Bash/Python), интеграция миграций схемы данных (Flyway/Liquibase) в CI/CD пайплайны контейнерной среды (Kubernetes) создание стандартов работы с данными: разработка архитектурных шаблонов и паттернов доступа к данным, определение корпоративных стандартов именования, индексирования и версионирования баз стратегическое планирование архитектуры: формирование целевой архитектуры хранения данных продукта (монолит vs микросервисы), оценка трудозатрат и создание технического видения развития системы на горизонте 1–3 лет менторство и кросс-функциональное взаимодействие: обучение разработчиков и младших специалистов работе с СУБД, согласование требований к инфраструктуре со смежными архитекторами для обеспечения целостности потоков данных. Требования опыт работы с СУБД PostgreSQL, Greenplum (и аналогичными) — от 5 лет. Общий опыт работы с СУБД — не менее 7 лет опыт работы с экосистемой Hadoop: Hive, HBase, HDFS, конфигурирование Oozie, YARN опыт развертывания и настройки экземпляров СУБД исходя из специфики нагрузки и рабочих процессов, которые будет обслуживать база данных глубокое понимание устройства реляционных баз данных, понимание реляционной модели данных и того, как эта теория отражается в реализациях реляционных СУБД опыт работы с оптимизацией запросов понимание типов блокировок в СУБД (уровни изоляции, взаимоблокировки, явные и неявные блокировки) и умение диагностировать проблемы с конкуренцией владение принципами физической и логической репликации и CDC (Change Data Capture): pglogical, Debezium, Kafka или аналогичные механизмы опыт разработки хранимых процедур, функций и триггеров на PL/pgSQL или аналогичных процедурных языках СУБД опыт промышленной обработки больших объёмов данных: массовые исправления, перенос и трансформация таблиц, построение ETL-процессов навыки написания сложных SQL-запросов с использованием оконных функций, CTE, рекурсивных запросов Будет плюсом: опыт написания скриптов на Bash/Python для автоматизации процессов обслуживания, резервного копирования, мониторинга и восстановления опыт работы в кросс-функциональных командах и участие в полном цикле разработки знание и понимание языков программирования (Java, Python, Rust и т.п.) опыт работы в контейнерных средах (Kubernetes, OpenShift) и понимание особенностей работы СУБД в таких средах опыт настройки мониторинга СУБД (Prometheus + экспортеры, Zabbix, Grafana) и построения алертинга навыки работы с генеративными AI-моделям Условия комфортный современный офис в Москве, ш Варшавское (Бизнес-центр Чайка Плаза), 25Астр6 график работы – офис на период испытательного срока, далее возможен гибрид ежегодный пересмотр зарплаты, квартальная и годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития программа адаптации и помощь руководителя на старте (для Junior позиций) расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбера