Обязанности:
КОМПАНИЯ «АЙ-ТЕКО» — ведущий российский системный интегратор (аутстаффинг IT-специалистов) и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. Мы аккредитованы в Минцифры. Формат работы: гибрид в Москве (Кутузовский проспект, 32) О проекте Проект в крупном банке. Cluster Discovery — технический справочник для администраторов платформы УСКАП, который автоматически обновляется. Проект входит в направление «Аналитические инструменты надежности DataOps». Его задача — автоматизировать сбор и предоставление информации о кластерах больших данных (Hadoop, GreenPlum): их конфигурации, загрузке, очередях, пользователях и физическом расположении оборудования в ЦОД. Команда разрабатывает систему, которая собирает данные из разных источников (логи СФД, fsimage, Service Manager, SDP Control), проверяет состояние кластеров и показывает результаты в виде дашбордов и отчётов. Задачи Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи). Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных). Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control). Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS). Построение и доработка дашбордов (аналитика, визуализация трендов). Разработка ETL-процессов для наполнения отчётной БД. Ожидания от кандидата Общие требования Высшее образование. Опыт коммерческой разработки от 4 лет. Опыт работы с Linux и Bash. Готовность к гибриду (офис на Кутузовском проспекте). Технические требования Python 3.9+ (уверенное знание языка, типизация, асинхронность). SQL (сложные запросы, агрегации, работа с большими таблицами). Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики). Работа с форматами данных: JSON, Avro, Parquet, CSV. Умение проектировать ETL-процессы. Базы данных Опыт работы с реляционными БД (PostgreSQL / GreenPlum). Понимание устройства отчётных БД (OLAP-нагрузки). Опыт работы с Redis. Интеграции и инструменты Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных. Опыт написания интеграций через REST API. Системы контроля версий: Git (GitLab). Навыки и компетенции Умение проектировать архитектуру модулей сбора и обработки данных. Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом). Опыт оптимизации запросов и обработки данных для сокращения времени выполнения. Умение работать с большими объёмами информации (Big Data). Мы предлагаем Работу в стабильной, надежной компании; Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня; Расширенный социальный пакет: ДМС (включая стоматологию), Корпоративные скидки на фитнес, Внутренние спортивные секции (футбол, волейбол); Возможности для профессионального развития: обучение, внутренние и внешние курсы; Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое; Современную технику: мощный ноутбук выдается в первый рабочий день — ничего не нужно ждать; Формат работы: гибрид в Москве (Кутузовский проспект, 32). Будем рады сотрудничеству!Похожие вакансии
Разработчик (Big Data) / Data Engineer
От 200 000 руб.
Москва. Станции метро: Деловой центр
Макаренко Валентина Ивановна
Data Engineer (Big Data) Scala
От 165 000 до 220 000 руб.
Москва. Станции метро: Деловой центр
Платформа ОФД