Digital Сhief- это дочерняя компания Альфа-банка, которой уже более 20 лет. Компания специализируется на e-commerce разработке полного цикла: интернет-магазины, web-порталы, личные кабинеты, маркетплейсы, платформы электронной коммерции. Сейчас мы находимся в поиске инженера по данным в команду Whoisblogger (WIB) c коммерческим опытом от 2-х лет. Обязанности: Разработка DAG'ов в Apache Airflow для автоматизации процессов обработки данных Написание SQL запросов для ETL/ELT процессов на Trino Написание ETL/ELT-скриптов на Python Интеграция с различными источниками данных: API, БД (PostgreSQL, ClickHouse, Trino), Kafka, S3 Очистка, трансформация и агрегация данных Мониторинг и поддержка пайплайнов, обработка ошибок и алертинг Оптимизация производительности загрузок и запросов Работа с хранилищами данных и Data Lake Мы рассматриваем SQL как основной рабочий инструмент Data Engineer. Важно: уверенное владение SQL понимание оконных функций сложные JOIN’ы агрегаты и аналитические запросы оптимизация запросов понимание особенностей распределённых вычислений опыт работы с большими таблицами и объёмами данных Python уверенное владение Python написание поддерживаемого кода работа с API, файлами и обработкой данных понимание принципов построения ETL-процессов Airflow разработка и поддержка DAG’ов понимание orchestration-процессов мониторинг и диагностика пайплайнов работа с зависимостями и расписаниями Будет плюсом: опыт работы с Trino / Presto ClickHouse Spark опыт построения data warehouse опыт работы с данными социальных сетей опыт оптимизации распределенных SQL-запросов понимание Data Quality и Data Governance Что мы предлагаем: Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования Полностью удаленный формат Возможность работать в современной команде, используя современный стек технологий Дружелюбная атмосфера и команда лучших профессионалов, которые готовы поддерживать на всех уровнях Оформление согласно ТК РБ *Вакансия планируется к созданию
Похожие вакансии