Обязанности Разработка архитектуры данных: Создание планов того, как данные будут перемещаться в организации: от источников до хранилищ и конечных потребителей. Проектирование ETL/ELT процессов: Преобразования и загрузки данных. Выбор технологий: Выбор подходящих инструментов и технологий (базы данных, фреймворки, облачные сервисы) под конкретные бизнес-задачи и объемы данных. Моделирование данных: Проектирование схем данных, хранилищ (Data Warehouse) для оптимизации производительности и удобства анализа. Внедрение мониторинга данных (Data Quality): Создание проверок на полноту, точность, согласованность и актуальность данных. Создание отказоустойчивых систем: Проектирование пайплайнов, устойчивых к сбоям, с механизмами повтора (retry) и обработки ошибок. Ведение каталога данных и линии владения (Data Lineage): Отслеживание происхождения данных, их преобразований и перемещений по системе. Оптимизация производительности: Ускорение выполнения ETL-процессов и SQL-запросов через партиционирование, индексацию, кэширование. Масштабирование инфраструктуры: Обеспечение работы систем с растущими объемами данных (вертикальное и горизонтальное масштабирование). Требования Python, SQL SQL Server, ClickHouse, PostgreSQL Apache Airflow Apache Kafka Docker Условия Работа в торгово-производственной компании, являющаяся лидером рынка; Оформление в соответствии с ТК РФ; Достойная заработная плата (обсуждается с успешным кандидатом); Предоставление ноутбука и корпоративной мобильной связи; График работы: понедельник-пятница, с 9:00 до 18:00. Формат работы: офисный
Похожие вакансии