Обязанности:
Компания "Форсайт" будет рада видеть в своей команде системного инженера по Apache NiFi в отдел архитектуры. Предлагаем работу как в офисах Санкт-Петербурга, Перми, так и удалённо в других городах. Кто мы? Форсайт — аккредитованная ИТ-компания, мы занимаемся разработкой программных продуктов для сбора, хранения, визуализации и анализа данных, моделирования и прогнозирования. Наши разработки помогают принимать правильные решения экспертам крупнейших российских компаний. Мы занимаем 4 позицию в списке крупнейших участников российского рынка BI. Наши решения включены в Реестр российского ПО и официально признаны Минкомсвязи России программным обеспечением, разработанным в Российской Федерации. Какие задачи вас ждут: Проектирование и разработка потоков данных: Создание и настройка потоков данных, используя Apache NiFi для обработки, маршрутизации и преобразования данных. Определение архитектуры потоков данных с учетом требований бизнеса и специфики систем. Интеграция с различными источниками и целями данных: Настройка подключений к источникам данных (БД, API, файловым системам и т. д.) и целевым системам (базы данных, хранилища данных, файловые системы). Использование различных процессоров NiFi для интеграции с системами и форматами данных. Оптимизация потоков данных: Проведение анализа производительности потоков данных для выявления узких мест. Оптимизация настройки потоков и параметров NiFi для повышения производительности и надежности. Мониторинг и управление потоками: Установка мониторинга для отслеживания состояния потоков данных в реальном времени. Управление производительностью и доступностью потоков данных, включая решение возникающих проблем. Обеспечение безопасности данных: Настройка механизмов аутентификации и авторизации для защиты потоков данных. Реализация лучших практик безопасности (шифрование, контроль доступа и другие). Что мы ожидаем: - Умение настраивать NiFi для работы с потоками данных: создавать потоки, используя различные процессоры NiFI. - Опыт работы с NiFi для интеграции данных, преобразования форматов и маршрутизации. - Знания о настройке сервисов, контроллеров и параметров конфигурации NiFi. - Знания SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse. - Понимание принципов ETL, ELT и как их применяют в контексте Apache NiFi. - Понимание и опыт работы с различными протоколами подключения, такими как JDBC, HTTP, Kafka, и другими. - Умение интегрировать NIFI с API третьих сторон и потоковыми системами. - Понимание форматов данных (JSON, XML, CSV и т. д.) и способность преобразовывать их с помощью NiFi. - Опыт работы с процессорами NiFi для выполнения трансформаций данных. - Знание методов оптимизации потоков данных в NiFi. - Умение мониторить и диагностировать проблемы в потоках данных с помощью встроенных инструментов NiFi. - Опыт работы с контейнерами (Docker). - Опыт работы с системами контроля версий, Git. - Способность документировать архитектуру потоков данных, процессы и политики обработки данных. Мы предлагаем: Работу в крупнейшем производителе BI-решений с масштабными проектами и заказчиками (такими как Росэнергоатом, Газпром и др.). Стабильную "белую" заработную плату и официальное трудоустройство. Комфортную и качественную адаптацию с выделенным наставником (научим всему, что необходимо, ответим на все вопросы и поддержим морально). Удалённый, офисный или гибридный формат на выбор (есть офис в Москве, Санкт-Петербурге и Перми). Развивающую корпоративную среду: индивидуальный план развития, прохождение внутреннего и внешнего обучения, участие в конференциях, обмен опытом. Яркую корпоративную жизнь: совместные выезды на природу и запоминающиеся мероприятия, приятные подарки сотрудникам и их детям; участие в благотворительности и защите окружающей среды. Приятные бонусы от компании: изучение английского языка, профессиональное обучение (как внутреннее, так и внешнее), ДМС, оплата спорта, дополнительные выходные дни, 100% покрытие больничного листа.Похожие вакансии
Ведущий инженер (системный адмнистратор)
От 80 000 руб.
Пермь
ФГБУ ФЦССХ им. С.Г. Суханова Минздрава России (г.Пермь)