Обязанности:
Data EngineerОбщие требования Опыт работы инженером данных или в смежных областях от 5 лет Технические требования ниже TBD Требования к кандидату опыт работы с фреймворками обработки данных (Apache Spark, Apache Flink, Apache NiFi, Apache Airflow); понимание принципов ETL, опыт работы с ETL-процессами и инструментами; хорошие знания SQL (на уровне относительно сложных запросов) и опыт работы с реляционными СУБД; знание архитектуры хранилищ данных: DWH, Data Lake (Greenplum, Hadoop (HDFS, Hive), Clickhouse, Trino, S3) понимание принципов Data Governance и Data Quality; понимание основных типов интеграций и взаимодействия систем; навыки работы с REST API и интеграцией внешних источников; навыки работы с Git. Будет плюсом: знание и опыт программирования на Python/Java (+Spring)/Groovy/Scala; опыт работы с нереляционными базами данных; опыт работы с инструментами CI/CD (Jenkins, GitLab pipelines, TeamCity и пр.); опыт работы с Docker, Kubernetes; опыт работы с облачными системами.Похожие вакансии