Обязанности:
IT-холдинг, работающий по всему миру. В нашем портфолио несколько ключевых направлений: -Внедряем BI и аналитику; -Внедряем корпоративные платформы данных; На текущий момент нам требуется ETL-разработчик уровня middle+/senior на новый Fintech проект (no banking) по миграции КХД с MsSQL на Greenplum Вам предстоит: Совместная работа с DBA-архитектором на проектах; Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum; Разработка трансформации данных ODS-слоя в DDS-слой; Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff); Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL); Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum; Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala); Работа с AirFlow-операторами, разработка DAGs; Наш идеальный кандидат: Имеет опыт ETL-разработчика от 4 лет; Имеет опыт с технологическим стеком: Greenplum, PXF, Spark. Понимает различия PostgreSQL & Greenplum; Понимает механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions); Понимает механизм дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews); Понимает разницу механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных; Понимает различия между логическими моделями: звезды, снежинки и DataVault; Мы предлагаем: Удалённая работа из РФ; Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти; ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы; Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок; Гибкое время начала рабочего дня.Похожие вакансии