Обязанности:
В команде ETL X5 Технологии, в связи расширением и появлением новых задач по загрузке новых данных, открыта позиция Data engineer (интеграция с источниками)На данный момент, у нас построен кластер Hadoop общей емкостью 1 петабайт. Команда ETL отвечает за интеграцию кластера с источниками данных.Мы загружаем данные из различных источников данных (как внутри компании, так и извне) в кластер Hadoop.Результат работы разработанных нашей командой механизмов - стабильно обновляемые базы данных в Hive. На основе этих баз данных ДБД разрабатывает различные продукты для широкого круга заказчиков внутри X5 Group и снаружи. Наш стек: Java, Python, Groovy, Spring boot, NiFi, Gradle, Spark, Kafka, Hadoop, Gitlab, Docker, Kubernetes, Jira, Confluence, Idea Чем предстоит заниматься: Разработка ETL приложений и тесты к ним; Технический анализ источников данных; Отладка и исправление ошибок загрузки данных; Применение и развитие инженерных практик в команде; Настройка CI и деплой приложений в Kubernetes; Поддержка и развитие существующей кодовой базы; Наш кандидат: Навык работы с GIT; Хорошие знания SQL (Oracle/PostgreSQL/MSSQL); Знание и понимание CI/CD (Gitlab CI) Навык работы с Docker; Опыт работы с Linux; Опыт работы в BigData проектах; Технический английский; Будет плюсом Опыт работы с NoSQL (Mongo, Redis, Cassandra, Clickhouse и т.п.) Опыт работы в смежных областях (Саппорт, системный анализ и т.п.) Опыт работы в больших компаниях Мы предлагаем: возможность работать удалённо или ездить в офис на м. Волгоградский проспект / м. Добрынинская возможность роста: план развития, регулярная обратная связь, 2 раза в год оценка персонала яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: X5 Tech Bar, регулярные внутренние митапы, демо-дни, открытые микрофоны, обмен опытом через внутренние комьюнити, день IT-специалиста, программы корпоративного волонтерства, корпоративное предпринимательство X5 Idea Challenge широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья; забота о благополучии сотрудников: регулярная онлайн-йога, ежедневные онлайн-зарядки по утрам, ЗОЖ-марафоны. скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Карусель», «ОКОЛО», «Много лосося», «5post», «Перекресток Впрок») программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров); материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию Узнать о нас больше вы можете в соц.сетях #X5TECHПохожие вакансии