Обязанности:
Компания "Форсайт" будет рада видеть в своей команде системного инженера по Apache NiFi в отдел архитектуры. Предлагаем работу как в офисах Санкт-Петербурга, Перми, так и удалённо в других городах. Кто мы? Форсайт — аккредитованная ИТ-компания, мы занимаемся разработкой программных продуктов для сбора, хранения, визуализации и анализа данных, моделирования и прогнозирования. Наши разработки помогают принимать правильные решения экспертам крупнейших российских компаний. Мы занимаем 4 позицию в списке крупнейших участников российского рынка BI. Наши решения включены в Реестр российского ПО и официально признаны Минкомсвязи России программным обеспечением, разработанным в Российской Федерации. Какие задачи вас ждут: Проектирование и разработка потоков данных: Создание и настройка потоков данных, используя Apache NiFi для обработки, маршрутизации и преобразования данных. Определение архитектуры потоков данных с учетом требований бизнеса и специфики систем. Интеграция с различными источниками и целями данных: Настройка подключений к источникам данных (БД, API, файловым системам и т. д.) и целевым системам (базы данных, хранилища данных, файловые системы). Использование различных процессоров NiFi для интеграции с системами и форматами данных. Оптимизация потоков данных: Проведение анализа производительности потоков данных для выявления узких мест. Оптимизация настройки потоков и параметров NiFi для повышения производительности и надежности. Мониторинг и управление потоками: Установка мониторинга для отслеживания состояния потоков данных в реальном времени. Управление производительностью и доступностью потоков данных, включая решение возникающих проблем. Обеспечение безопасности данных: Настройка механизмов аутентификации и авторизации для защиты потоков данных. Реализация лучших практик безопасности (шифрование, контроль доступа и другие). Что мы ожидаем: - Умение настраивать NiFi для работы с потоками данных: создавать потоки, используя различные процессоры NiFI. - Опыт работы с NiFi для интеграции данных, преобразования форматов и маршрутизации. - Знания о настройке сервисов, контроллеров и параметров конфигурации NiFi. - Знания SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse. - Понимание принципов ETL, ELT и как их применяют в контексте Apache NiFi. - Понимание и опыт работы с различными протоколами подключения, такими как JDBC, HTTP, Kafka, и другими. - Умение интегрировать NIFI с API третьих сторон и потоковыми системами. - Понимание форматов данных (JSON, XML, CSV и т. д.) и способность преобразовывать их с помощью NiFi. - Опыт работы с процессорами NiFi для выполнения трансформаций данных. - Знание методов оптимизации потоков данных в NiFi. - Умение мониторить и диагностировать проблемы в потоках данных с помощью встроенных инструментов NiFi. - Опыт работы с контейнерами (Docker). - Опыт работы с системами контроля версий, Git. - Способность документировать архитектуру потоков данных, процессы и политики обработки данных. Мы предлагаем: Работу в крупнейшем производителе BI-решений с масштабными проектами и заказчиками (такими как Росэнергоатом, Газпром и др.). Стабильную "белую" заработную плату и официальное трудоустройство. Комфортную и качественную адаптацию с выделенным наставником (научим всему, что необходимо, ответим на все вопросы и поддержим морально). Удалённый, офисный или гибридный формат на выбор (есть офис в Москве, Санкт-Петербурге и Перми). Развивающую корпоративную среду: индивидуальный план развития, прохождение внутреннего и внешнего обучения, участие в конференциях, обмен опытом. Яркую корпоративную жизнь: совместные выезды на природу и запоминающиеся мероприятия, приятные подарки сотрудникам и их детям; участие в благотворительности и защите окружающей среды. Приятные бонусы от компании: изучение английского языка, профессиональное обучение (как внутреннее, так и внешнее), ДМС, оплата спорта, дополнительные выходные дни, 100% покрытие больничного листа.Похожие вакансии
Ведущий инженер (системный адмнистратор)
От 80 000 руб.
Пермь
ФГБУ ФЦССХ им. С.Г. Суханова Минздрава России (г.Пермь)
Системный инженер (направление прикладных систем)
Договорная
Пермь
Уральский центр систем безопасности