Обязанности:
Привет! Ищем в Блейз Аналитикс ведущего инженера данных (Lead Data Engineer) на проект Data Lakehouse для госзаказчика. Мы специализируемся на разработке хранилищ данных и BI-аналитике. У нас распределенная команда, низкий уровень бюрократии, прозрачные и понятные процессы, на которые может влиять каждый сотрудник. Ведущий инженер данных возглавит разработку нашего продукта, поможет развернуть продукт в контуре заказчика (надо будет ездить в офис в центре Москвы), внедрит стандарты разработки и возглавит группу из 2 инженеров данных. Стек: CedrusData (Trino) + Apache Iceberg, Spark, Airflow + MinIO / VK S3. Если описанные ниже требования про тебя, ждём твой отклик. Опыт и технические навыки (обязательные):- Понимание принципов функционирования распределенных систем/вычислений- Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации- Опыт разработки PySpark и оптимизации Spark-приложений (must have)- Опыт разработки на Python- Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной.- Опыт работы с Airflow- Опыт работы с git- Уверенный пользователь Linux (типовые команды и утилиты) Желательно:- Опыт работы с Trino/Hive/Hadoop- Опыт работы с табличными форматами (предпочтительно Iceberg или DeltaLake/Hudi)- Опыт работы с Docker и Kubernetes- Опыт разработки на Java (или понимание основ JVM)- Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные) Требования/функции:- Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow- Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода- Оптимизация разработанных решений Организационные и лидерские задачи:- Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)- Декомпозиция высокоуровневых задач и делегирование разработчикам- Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)- Проведение технических демо разработанного функционала заказчику Дополнительно Позиция предполагает гибридный формат работы с периодическими выездами к заказчику (центр Москвы).Похожие вакансии
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
НООСФЕРА
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Эвокарго
Data Engineer \ Инженер данных
От 280 000 руб.
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Займиго МФК
Инженер данных (Data Engineer)
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
БАРЛ НПК
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
ГРЧЦ, ФГУП
Договорная
Москва. Станции метро: Площадь Революции, Театральная, Охотный ряд, Библиотека им.Ленина
Федеральное автономное учреждение «Национальный институт аккредитации» (ФАУ НИА)