Обязанности:
Сейчас мы ведем активный поиск на позицию Data Engineer в Wildberries - один из самых крупных и известных маркетплейсов, который создают более 2-х тысяч IT-специалистов. Мы создаем сервисы для себя - это различная автоматизация процессов логистики/складов/ПВЗ, предоставления сервисов для поставщиков, эко-система платежных продуктов, наполнение контура маркетплейса и многое другое. Проект: разработка нового продукта для складской работы - новая высоконагруженная WMS на базе микросервисов, которая изменит подход к организации работы с товарами. Чем предстоит заниматься: Проектирование структур хранилищ данных (DWH); Создание и доработка ETL процессов загрузки, трансформации данных и формирования витрин (ETL); Разработка и модернизация процедур контроля качества данных хранилища, анализ и мониторинг консистентности данных (DQ); Проектирование и построение витрин данных для BI систем; Тестирование реализованного функционала; Участие в подготовке технических заданий. Наши ожидания от кандидата: Опыт разработки SQL-запросов для СУБД PostgreSQL (включая CTE и аналитические функции); Опыт написания хранимых процедур, триггеров, функций; Знание и понимание основных подходов моделирования хранилищ ; Опыт написания витрин; Понимание основных методов доступа к данным и способов соединения данных; Умение оптимизировать запросы; Обязательно опыт работы с ClickHouse, Kafka/data streaming, Debezium, Hadoop, Spark; Опыт работы с Apache airflow и построение DAGов; Опыт работы с языком программирования Python; Готовность писать документацию к своим разработкам. Будет плюсом: Умение работать с Greenplum, K8s. Условия: Гибкое начало рабочего дня; Сложные и интересные проекты (также участие в проектах с нуля); 100% удаленный формат работы (из любой точки мира) или вы можете выбрать гибридный график (по желанию); Оформление по ТК РФ в IT компанию с первого дня (также предоставляем другие виды оформления - ИП, ГПХ); Современный стек, нет бюрократии и тайм-трекеров; И другие «плюшки»: партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе.Похожие вакансии