Обязанности:
SoftLight — Мы IT компания, специализирующаяся на дизайне, разработке сайтов, веб и мобильных приложений. Сейчас мы в поиске Senior Data Engineer на проект в международную E-commerce компанию, которая специализируется на производстве и продаже персонализированных изделий по всему миру. Основные задачи: Разработка и поддержка пакетных (batch) и потоковых (streaming) конвейеров данных в Databricks (PySpark / Spark SQL); Оркестрация рабочих процессов с помощью Airflow — создание DAG, управление зависимостями и устранение сбоев; Загрузка и обработка потоковых данных из Kafka в lakehouse (озеро-хранилище данных); Работа в Unity Catalog для управления данными (data governance), отслеживания происхождения данных (lineage) и прав доступа к схемам; Интеграция данных из внешних источников и SaaS-систем (например, маркетинг, CRM, веб-аналитика) через API и коннекторы; Внедрение проверок качества данных, мониторинга и оповещений для обеспечения надежности конвейеров; Оптимизация задач по производительности и стоимости, а также участие в практиках CI/CD и инфраструктуры как кода (IaC); Взаимодействие с командами BI и аналитики для предоставления чистых, хорошо структурированных моделей данных. Кого мы ищем: Опыт работы от 5 лет в области дата-инженерии или на аналогичной должности; Отличные знания SQL и уверенное владение Python и Scala; Практический опыт работы со Spark / Databricks (или эквивалентными системами распределенной обработки данных); Опыт создания и планирования конвейеров с помощью оркестратора (Airflow или аналогичного); Понимание архитектуры хранилищ данных (Data Warehouse / Lakehouse) и паттернов ETL/ELT; Знакомство с одной из крупных облачных платформ (будет преимуществом); Хороший письменный и разговорный английский язык и умение работать самостоятельно в удаленной команде(уровень B2). Будет плюсом: Опыт работы с потоковой передачей данных (Kafka, Spark Structured Streaming); Знакомство с Unity Catalog или другими инструментами управления данными (data governance); Знание CI/CD, рабочих процессов Git (Git workflows) и инфраструктуры как кода (IaC); Опыт оптимизации затрат / FinOps на облачных платформах данных; Опыт работы в сфере электронной коммерции (E-commerce) или D2C (Direct-to-Consumer). Мы предлагаем: Возможность влиять на продукт и команду; Крутой коллектив профессионалов; Гибкие варианты оформления по всему миру; Бонусы на спорт или обучение; Оплачиваемый отпуск + оплачиваемые больничные.Похожие вакансии
Аналитик данных, Data Scientist (здравоохранение)
От 70 000 до 90 000 руб.
Севастополь
ГБУЗС Медицинский Информационно-Аналитический Центр