Обязанности:
Привет! В IT-команду самой амбициозной сети магазинов здоровой еды Жизньмарт нужен Data Engineer Жизньмарт — не просто очередная продуктовая сеть. Вот уже 5 лет мы создаем магазины нового формата, которые переворачивают продуктовый ритейл. За это время мы выросли в сеть из более чем 350 магазинов - и не намерены снижать планку. IT Команда Жизньмарта — это великолепные профессионалы. Мы предлагаем нашим ребятам не только возможность дорабатывать и улучшать существующие продукты, но и вносить свои идеи, которые позволяют компании стать еще сильнее и круче. Что для нас важно: Python (ООП, функциональное программирование) Уверенные знания SQL- DDL, DML, обычные/рекурсивные CTE, подзапросы, JOIN’ы, UNION’ы, исключения/пересечения- Оконные функции- Понимание специфики работы с MySQL и ClickHouse (+ разницы в транзакционных и аналитических СУБД) Уверенные знания Apache Airflow:- Основные компоненты Airflow и их предназначение- Основные единицы Airflow (DAG’и,Операторы/Сенсоры/Триггеры Уверенные знания Apache Spark- Понимание специфики работы Apache Spark- PySpark-синтаксис- Понимание механики MapReduce Знание Git, опыт работы в командной разработке Поверхностные знания работы с DevOps/DataOps инструментами (Linux, SSH, CI/CD - опыт написания своих CI/CD-пайплайнов необязателен, Docker/Docker Compose) Опыт работы с различными командами разработки (Backend, Data Analyst/Business Intelligence, Data Science, DevOps/DataOps/MLOps) Будет плюсом, если имеются: Опыт работы со Scala и sbt/sbt assembly Опыт администрирования баз данных (OLAP, OLTP) Знания/опыт работы с K8s Знания/опыт работы с менеджерами очередей (RedPanda, Apache Kafkа или, RabbitMQ) Опыт работы с объектными хранилищами (Amazon S3, Yandex Object Storage, MinIo, пр.) Понимание работы распределённых систем (Spark, ClickHouse, Airflow) Чем предстоит заниматься: Разрабатывать ETL-процессы (создавать новые, поддерживать и оптимизировать имеющиеся) Поддерживать работоспособность аналитического и прочих хранилищ (написание миграций, оптимизация запросов) Взаимодействовать с командами Data Analyst/Data Science для обогащения аналитического и прочих хранилищ От нас: Работа в аккредитованной IT компании, где ты будешь видеть значимость своих результатов Оплата курсов, обучений и участия в профильных конференциях Гибкое начало рабочего дня (можешь управлять рабочими часами сам) Работа из офиса или в гибридном графике - в минутной доступности от метро (Екатеринбург, ул. Николая Никонова, 6 / ул. Куйбышева, 41)Похожие вакансии