Старший инженер данных отдела разработки аналитических систем

Обязанности: 1. Разработка и поддержка data pipeline Создание и оптимизация ETL/ELT-процессов для интеграции данных из разнородных источников (внешние данные о рисках, файловые хранилища и др.) в Arenadata DB и ClickHouse . Построение масштабируемых потоков данных для обработки больших объемов информации, включая batch и stream processing. Обеспечение надежности, производительности и отказоустойчивости pipeline (например, через Apache Airflow, Kafka Streams или собственные механизмы Arenadata). 2. Управление данными и их качеством Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов). Внедрение процедур очистки, нормализации и преобразования данных на этапах ETL. Участие в создании стандартов хранения данных (Data Governance), включая классификацию, метаданные, политики доступа и сроки хранения. 3. Архитектурное проектирование Проектирование и поддержка архитектуры хранилищ данных (Data Warehouse / Data Lake) на базе Arenadata DB и Arenadata QM (ClickHouse) . Оптимизация структур данных в ClickHouse (выбор движков таблиц, партиционирование, TTL, репликация). Выбор и реализация процедур инкрементальной загрузки данных из источников. Построение звездных/снежинковых схем для аналитических отчетов и дашбордов. Интеграция Arenadata DB с ClickHouse для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои). 4. Поддержка аналитических процессов Создание витрин данных (Data Marts) для аналитиков, актуариев и менеджеров. Оптимизация SQL-запросов в ClickHouse для работы с высоконагруженными сценариями (например, расчет резервов убытков, моделирование рисков). Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства). 5. Соблюдение регуляторных требований Подготовка данных для регуляторной отчетности (например, Solvency II, локальные нормы) с использованием Arenadata DB и ClickHouse. Обеспечение конфиденциальности и безопасности данных (например, шифрование, аудит доступа к персональным данным). Документирование процессов хранения и обработки данных в соответствии с требованиями регуляторов. 6. Командная работа и развитие Наставничество для junior-инженеров данных (code review, обучение, передача экспертизы). Участие в выборе технологических решений и инструментов для развития аналитической платформы. Взаимодействие с ИТ-командами и бизнес-подразделениями для выявления потребностей и приоритетов. Требования: Высшее образование (плюсом будет направление: информационные технологии). Умение читать техническую литературу/документацию на английском языке. Опыт работы: 4+ лет в роли инженера данных, 2+ года с Arenadata DB (или иным хранилищем на базе Greenplum) и ClickHouse. Технические навыки: Углубленное знание SQL, Python/Scala для обработки данных. Опыт работы с ETL-инструментами (Apache Airflow, Kafka). Навыки настройки и оптимизации Arenadata DB (Greenplum). Знание архитектур хранилищ данных и best practices моделирования данных. Понимание предметной области: Знание особенностей перестраховочного бизнеса (виды договоров, оценка рисков, убытки, премии). Опыт работы с финансовыми и актуарными метриками. Предпочтителен опыт работы в финансовых организациях и IT компаниях. Готовность брать на себя ответственность за результат, проактивность и умение задавать правильные вопросы, здоровый перфекционизм и скептицизм: любовь к структурированию, систематизации. Системное логическое мышление, умение описывать алгоритмы действий в процессах, лидерские качества, умение распределять задачи в команде, отличные коммуникативные навыки для взаимодействия с бизнесом и ИТ, аналитическое мышление и внимание к деталям. Условия: Прием на работу по трудовому договору. Ежеквартальная премия и премия по итогам года. ДМС на работника и членов семьи, страхование от критических заболеваний и несчастных случаев. Корпоративная мобильная связь. График 5/2 (гибрид). Офис в центре Москвы (м. Маяковская).