Обязанности:
бязанности: Проектирование и разработка витрин данных; Проектирование, разработка и поддержка процессов ETL для загрузки данных в/из Data Lake/Factory Data Platform; Интеграция новых источников в DataLake/DWH/Factory Data Platform; Настройка и поддержка фильтрации, маршрутизации и очередей данных на платформе Factory Data Platform. Настройка и поддержка пост-обогащения, преобразования и контекстуализации данных в Factory Data Platform. Определение и поддержка политики хранения тегов/данных. Контроль качества загружаемых данных (ручные и автоматические тесты DQ); Написание документации; Требования: Обширный опыт предоставления решений по обработке данных для облачных приложений; Понимание работы базы данных и принципов разработки DWH; Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных. Опыт работы с технологиями Hadoop (HDInsight, Spark, Hive, Scala и т. д.); Хорошее знание SQL, Python/Scala или Java; Опыт работы с Nifi, Kafka, Airflow, InfluxDB/Flux; Опыт разработки потоковой передачи данных Опыт работы со стеком Yandex Cloud Platform/ Azure от 1 года; Понимание технологии серверов ретрансляции KEP/OPC (OPC UA/DA, теги, именование, публикация) как плюс. Уровень английского языка – средний или выше Условия: Оформление по ИП; Долгосрочная перспектива; Удаленный формат работы ; Гибкое начало и окончание рабочего дня; Белая заработная плата; Возможность развития и профессионального роста.Похожие вакансии