Обязанности:
ОТР 2000 - это ИТ-компания с опытом успешной реализации масштабных проектов разработки, внедрения и сопровождения ПО для государственного и коммерческого сектора. В 2025 году нам исполнилось 25 лет! Сейчас мы в поиске Дата-инженера Задачи: Разработка ELT-пайплайнов: Проектирование и автоматизация загрузки данных из источников (например, PostgreSQL) в ClickHouse, включая потоковую обработку (Kafka); Развитие платформы данных: Развертывание и поддержка инфраструктуры (ClickHouse, Apache Superset, Apache NiFi, Kafka); Оркестрация и автоматизация: Перевод процессов на Airflow/Prefect и визуальное проектирование потоков в NiFi; Обеспечивать стабильность и отказоустойчивость решений (Docker / Kubernetes, мониторинг, HA); Управление метаданными: Внедрение и поддержка каталога данных (Data Catalog) для учета изменений и разграничения прав; Оптимизация: Обеспечение производительности DWH, надежность пайплайнов и миграция отчетов из legacy-систем; Самостоятельно вести задачи полного цикла: от проектирования архитектуры до внедрения и дальнейшей поддержки; Оформление по ТК РФ; Заработная плата по результатам собеседования. Что нужно для успешного старта: Высшее образование; Навыки (обязательные): Проектирование и реализация ETL/ELT-процессов, включая загрузку данных из PostgreSQL в ClickHouse (Python/SQL, инкрементальные загрузки, CDC, Debezium или прямые коннекторы); Уверенное владение SQL и Python; Практические навыки работы с ClickHouse: проектирование схем, настройка partitioning и materialized views, оптимизация запросов и производительности; Понимание архитектуры DWH, методологий ETL/ELT и принципов потоковой передачи данных; Опыт работы с инфраструктурой Big Data и построением масштабируемых решений обработки данных; Навыки работы с Apache NiFi для интеграции и визуального проектирования потоков данных; Развертывание и поддержка ClickHouse-кластеров в Docker / Kubernetes, понимание принципов масштабирования и отказоустойчивости (HA); Навыки мониторинга и обеспечения надежности решений (Grafana / Prometheus), участие в миграции и оптимизации legacy-отчетности; Уровень Middle+: самостоятельное ведение задач полного цикла — от проектирования и внедрения до поддержки и развития решения, способность предлагать технические решения. Навыки (желательные): Уверенная работа с Kafka (управление топиками и partitions); Знание Airflow / Prefect: разработка и поддержка DAG, создание operators для ClickHouse и Kafka, миграция legacy-процессов на оркестраторы; Знание подходов к управлению метаданными: внедрение Data Catalog (Amundsen, DataHub или аналоги), построение metadata-driven пайплайнов, настройка lineage и RBAC; Понимание требований compliance (GDPR / ФЗ-152). Что мы предлагаем: Возможность принять участие в социально-значимых проектах федерального масштаба, перенимая экспертизу у настоящих профи; Все льготы и преимущества работы в аккредитованной ИТ-компании; Система наставничества на время адаптации и поддержка в профессиональном развитии; Долгосрочные проекты и возможность перехода в другие команды; Доверие к сотрудникам и отсутствие микроменеджмента; Приятные бонусы - корпоративные скидки в SkyEng, СИТИЛИНК, xFit, оплата обучения и другие льготы в составе гибкого соцпакета.Похожие вакансии