Обязанности:
Наш Департамент аналитических решений (ДАР) погружен во все современные направления работы с данными: BI-системы и системы аналитической отчетности; хранилища и витрины данных; продвинутая аналитика и Big Data; прикладные продукты с использованием Machine Learning; управление данными (Data Governance, Data Quality); разработка методологии и стратегии работы с данными. Что важно знать о нашей команде: 8 лет на рынке, команда: 300+ человек Основной стек технологий: Luxms BI, Fine BI, Pix, Visiology, SuperSet, Qlik, Microsoft, Hadoop, PostgreSQL, GreenPlum, Arenadata, Informatica,Teradata, Oracle и др. Наши заказчики: 100+ («Лента», «РЖД, «Газпром нефть», «Загорский трубный завод», «Самокат», ВТБ, Газпромбанк, Leroy Merlin, Danone, DPD, Melon Fashion Group, Pernod Ricard, Maxxium, Takeda, Efes Rus, и др.) Количество реализованных проектов: 80+ Выручка за FY23: 1+ МЛРД руб. (с опережением бизнес-плана на 1 год) Количество партнеров: 20+ Офисы: СПб, МСК, Ярославль, Минск О проекте: для иностранной ритейл компании мы разрабатываем облачные хранилища данных и аналитические решения на облачных платформах, помогаем нашему заказчику изменять бизнес-процессы путем использования аналитики. Сейчас мигрируем все проекты на Yandex.Cloud. Наш текущий стек: Python, Spark, Hive, AirFlow как оркестратор, Yandex.Cloud. Ищем к себе в команду Middle/ Senior Data Engineer. Основные задачи: Формировать потоки данных от источников до конечных витрин. Обработка потоковых данных на Spark Streaming. Формировать комплексные системы интеграции витрин данных Hadoop с использованием PySpark + AirFlow. Разрабатывать и оптимизировать ETL процессы. Миграция существующих витрин с DataBricks на Yandex.Cloud. В работе поможет: Опыт разработки на Python от 2-х лет. Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark Streaming, Spark SQL, Kafka, Hive и т.д.) от 2-х лет. Опыт работы с любым ETL инструментом от 2 года (Airflow в приоритете). Опыт написания запросов для анализа и преобразования данных (на любой реляционной СУБД). Будет плюсом: Опыт работы с облачными платформами (Yandex.Cloud, MS Azure, AWS). Что мы можем предложить: Заработная плата: состоит из оклада и бонуса за выполнение проекта. Знаем рынок, готовы обсуждать оклад индивидуально по итогам тех. собеседования. Оформляем официально в штат компании. Гибкое начало рабочего дня - не смотрим на отработанные часы, смотрим на результат. Удаленный формат работы или гибридный график по желанию (удаленка/офис в Москве, Санкт-Петербурге или Ярославле). Индивидуальный план развития: подбираем задачи для роста экспертизы, выделяем бюджет на обучение, предоставляем курсы и программы обучения (в т.ч. английскому языку), предоставляем обратную связь, регулярно обсуждаем развитие. Полис ДМС, корпоративные тарифы на фитнес и др. Открытая корпоративная культура: каждый может предложить идею и получить возможности для ее реализации, мы помогаем друг другу, часто и весело проводим корпоративы. Минимум бюрократии и отчётов, а совещания только по необходимости и с чёткой программой. Приходи к нам в команду, будем вместе создавать крутые и полезные вещи!Похожие вакансии