Обязанности:
Наши партнеры - крупнейшая компания FMCG в поиске Data Engineer Инженер по обработке данных будет отвечать за прием, обработку и распространение данных, используемых бизнес-системами, управляемыми данными. Кроме того, инженер по данным будет обеспечивать разработку программного обеспечения и поддержку доставки продуктов для продуктов данных и групп продуктов. Одним из направлений деятельности на этой должности будет проектирование, разработка и поддержка платформы производственных данных и домена данных как централизованного пространства для работы с данными (включая потоковую передачу) на основе облачных технологий на заводах. Основные требования: • Обширный опыт предоставления решений по обработке данных для облачных приложений. • Понимание работы базы данных и принципов разработки DWH; • Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных. • Опыт работы с технологиями Hadoop (HDInsight, Spark, Hive, Scala и т. д.); • Хорошее знание SQL, Python/Scala или Java; • Опыт работы с Nifi, Kafka, Airflow, InfluxDB/Flux. • Опыт разработки потоковой передачи данных • Понимание технологии серверов ретрансляции KEP/OPC (OPC UA/DA, теги, именование, публикация) как плюс. • Опыт работы со стеком Yandex Cloud Platform/ Azure от 1 года; • инициативный человек, который приветствует ответственность, а также способность преуспевать в развивающейся организации и способность привносить структуру в неструктурированные ситуации. • Уровень английского языка – средний или выше Основные навыки: • Проектирование и разработка витрин данных; • Проектирование, разработка и поддержка процессов ETL для загрузки данных в/из Data Lake/Factory Data Platform; • Интегрировать новые источники в DataLake/DWH/Factory Data Platform; • Настройка и поддержка фильтрации, маршрутизации и очередей данных на платформе Factory Data Platform. • Настройка и поддержка пост-обогащения, преобразования и контекстуализации данных в Factory Data Platform. • Определение и поддержка политики хранения тегов/данных. • Контроль качества загружаемых данных (ручные и автоматические тесты DQ); • Написание документации; • Сотрудничайте с экспертами по данным и аналитике, чтобы улучшить функциональность наших продуктов для обработки данных. Личностные характеристики: Аналитическое мышление Обучение на лету Может структурировать работу и расставлять приоритеты Увлечение бизнес-аналитикой и анализом данных. Самоорганизованная Открытость, умение работать в команде Умение видеть альтернативы Многозадачность Умение четко объяснять и отстаивать мнение Мы предлагаем: Официальное трудоустройство в it-аккредитованную компанию; График работы 5/2; Работа в команде профессионалов в одной из крупнейших FMCG компаний; Полностью белая заработная плата; Удаленная работа.Похожие вакансии
Аналитик данных / Инженер данных/ Data Scientist / Data Analyst / Data engineer
Договорная
Москва
СтандартПроект