Обязанности:
ЗОНА ОТВЕТСТВЕННОСТИ: Проектирование базовой архитектуры платформы данных: слои STG → DWH → Data Marts по методологии Data Vault. Построение отказоустойчивых конвейеров загрузки данных из внутренних систем (1С ERP, HR, финансы, производственные системы) и внешних источников. Настройка в Apache Airflow оркестрации синхронизации платформы с источниками данных. Выстраивание операционного взаимодействия с владельцами/поставщиками данных (схемы, интерфейсы, расписания, SLA). Обеспечение качества данных: профилирование, валидаторы, контроль полноты и дубликатов. Оптимизация производительности СУБД: PostgreSQL - партиционирование, индексы, анализ и тюнинг планов; при наличии ClickHouse — партиционирование, TTL, распределённые запросы. Организация доступа и безопасности: RBAC, аудит и анонимизация чувствительных данных. Разработка и поддержка REST API для внешних систем‑подписчиков. Выстраивание процессов CI/CD, мониторинг и журналирование, покрытие unit и integration тестами. Ведение системной документации. НАШИ ОЖИДАНИЯ: Не менее 5-ти лет опыта в роли Data Engineer / ETL Engineer / DWH Engineer. Продвинутый SQL: оконные функции, CTE, оптимизация планов, блокировки, хранимые функции, партиционирование. Не менее 3-х лет опыта разработки и поддержки хранилищ данных в PostgreSQL. Не менее 3-х лет опыта построения ETL/ELT‑конвейеров на Python и SQL. Не менее 3-х лет опыта разработки и эксплуатации сложных DAG’ов в Apache Airflow. Владение методологией Data Vault 2.0. Знание принципов Clean Code и практик code review. Опыт настройки и эксплуатации CI/CD для дата‑проектов. Практики Data Cleansing и Data Governance. Опыт юнит‑ и интеграционного тестирования дата‑пайплайнов. Опыт разработки и поддержки REST API; Свободное чтение технической документации на английском. Преимуществом будет: Опыт 1+ год в ML: решение задач классификации на основании текста. Опыт 1+ год с ClickHouse: моделирование данных и оптимизация запросов. Опыт 1+ год с Elasticsearch: проектирования индексов, построение и оптимизация поисковых запросов по релевантности выдачи. Опыт интеграции система 1С (С:Бухгалтерия, 1С:УПП, 1С:ERP) 1+ год. МЫ ПРЕДЛАГАЕМ: Комфортное рабочее место в офисе класса "А" в 10 минутах от станций метро ЦСКА. Пятница сокращенный рабочий день до 16:45. Также доступен удаленный формат работы. Годовой бонус за результативную работу. Заботу о здоровье: страхование жизни и здоровья (ДМС). Корпоративные и благотворительные мероприятия, участие в отраслевых и мировых конкурсах (AtomSkills, Человек Года), программы признания. Профессиональное обучение в корпоративной академии, доступ к корпоративной библиотеке и обучающим платформам. Понятный карьерный трек с возможностью профессионального и карьерного роста, карьерные консультации. Спортивную жизнь: участие в корпоративных соревнованиях, ежегодная спартакиада, корпоративное приложение для спорта, а также наличие собственных корпоративных хоккейной и волейбольной команд, йога.Похожие вакансии