Обязанности:
Вместе с нами ты будешь: Участвовать в проектах связанных с хранением, обработкой и анализом данных в роли разработчика Разрабатывать приложения для построения витрин данных с использованием фреймворка Apache Spark Оптимизировать и дорабатывать текущие приложения, написанные на Apache Spark Взаимодействовать с заказчиками и аналитиками в процессе проектирования и реализации задач Разрабатывать пайплайны загрузки данных в Airflow Какие знания и навыки для нас важны: Высшее образование (Техническое/ИТ) Опыт работы с Apache Spark Опыт разработки на Python и Scala Опыт работы с Hive, Hadoop, Airflow Опыт работы с реляционными базами данных (Mysql/Oracle/Postgres/DB2) знание SQL Будет преимуществом: Понимание подходов ETL/ELT Опыт работы с NiFi, Informatica Опыт работы с Apache Kafka, ActiveMQ, RabbitMQ, etc Опыт работы с потоковой обработкой данных (Kafka Streaming, Spark Streaming, Flink) Опыт работы c инструментами CDC (IBM CDC, Debezium) Опыт интеграции системПохожие вакансии