Обязанности:
Вместе с нами ты будешь: Участие в проектах связанных с хранением, обработкой и анализом данных в роли разработчика; Разработка приложения для построения витрин данных с использование фреймворка Apache Spark; Оптимизация и доработка текущих приложений написанных на Apache Spark; Взаимодействие с заказчиками и аналитиками в процессе проектирования и реализации задач; Разработка пайплайнов загрузки данных в Airflow. Какие знания и навыки для нас важны: Высшее образование (Техническое/ИТ); Опыт работы с одной из указанных СУБД: Oracle/Postgres/DB2/Arenadata DB/GreenPlum; Опыт разработки витрин данных DWH с использованием Apache Spark (обязательно); Понимание принципов распределенной обработки данных (опыт работы с кластером hadoop приветсвуется); Опыт разработки с использованием инструментария экосистемы BigData (Hadoop, Spark/Spark SQL, Airflow); Обязателен опыт разработки на одном из языков: Scala(предпочтительнее), Java, Python; Уверенное знание алгоритмов, структур данных и SQL; Знания Kafka приветствуется; Понимание подходов к организации разработки (CI/CD, DEVops) приветствуется.Похожие вакансии