Обязанности: Проектирование и внедрение масштабируемых ETL/ELT-пайплайнов Архитектура хранения и модели данных для аналитики и ML Настройка мониторинга, тестов качества и процедур инцидент-менеджмента Ведение технической документации, код-ревью и менторство Оптимизация производительности и затрат в облаке Постановка задач data инженерам Требования: Образование: высшее в области информатики, математики, статистики, инженерии или эквивалентный опыт Опыт работы: от 3 лет (middle) в роли Data Engineer или схожих позициях Язык: свободное владение SQL; английский — технический уровень (чтение документации) Технические навыки Хранение данных: опыт проектирования и оптимизации распределенных баз данных (MSSQL, Greenplum, Clickhouse ) ETL/ELT: разработка и поддержка ETL/ELT-пайплайнов; знакомство с Airflow, dbt, S3 Обработка данных в реальном времени: опыт работы с потоковыми платформами (Kafka) и фреймворками (Spark Streaming, Flink) — желательно Большие данные: опыт с Apache Spark (PySpark) или эквивалентными инструментами для batch-обработки Языки программирования: уверенное владение Python Моделирование данных: умение проектировать и опыт создания звёздных/снежинок моделей, нормализации/денормализации, дедупликации и версионирования данных (SCD) Качество данных: мониторинг и тестирование данных (soda core, dbt elementary, dbt tests), умение устранять проблемы с данными Безопасность и соответствие: управление доступом, шифрование, знание локальных требований к данным — желательно Дополнительные навыки Инструменты наблюдаемости: Prometheus, Grafana или аналогичные Контейнеризация и оркестрация: Docker CI/CD: опыт настройки пайплайнов для кода и деплоя данных Data Catalog / Metadata: опыт работы с инструментами каталогизации — плюс Оптимизация стоимости: умение оптимизировать расходы в облаке при обработке и хранении данных Условия: Работа в динамично развивающейся компании с известным именем Гибридный график работы Стабильная заработная плата 2 раза в месяц, без задержек Ежегодная премия за высокие результаты в работе, по понятной и адекватной формуле расчета Официальное трудоустройство по ТК РФ Соц. пакет (компенсация питания, ДМС, страхование от несчастного случая)
Похожие вакансии