Обязанности:
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. В связи с активным развитием проектов в компании открыта вакансия Python разработчика. Задачи: Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи). Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных). Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control). Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS). Построение и доработка дашбордов (аналитика, визуализация трендов). Разработка ETL-процессов для наполнения отчётной БД. Ожидания от кандидата Общие требования: Высшее образование. Опыт коммерческой разработки от 4 лет. Опыт с Golang. Опыт работы с Linux и Bash. Готовность к гибриду (офис на Кутузовском проспекте). Технические требования: Python 3.9+ (уверенное знание языка, типизация, асинхронность). SQL (сложные запросы, агрегации, работа с большими таблицами). Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики). Работа с форматами данных: JSON, Avro, Parquet, CSV. Умение проектировать ETL-процессы. Базы данных: Опыт работы с реляционными БД (PostgreSQL / GreenPlum). Понимание устройства отчётных БД (OLAP-нагрузки). Опыт работы с Redis. Интеграции и инструменты: Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных. Опыт написания интеграций через REST API. Системы контроля версий: Git (GitLab). Навыки и компетенции: Умение проектировать архитектуру модулей сбора и обработки данных. Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом). Опыт оптимизации запросов и обработки данных для сокращения времени выполнения. Умение работать с большими объёмами информации (Big Data). Формат работы: гибрид в Москве (Кутузовский проспект, 32) О проекте: Проект в крупном банке. Cluster Discovery — технический справочник для администраторов платформы УСКАП, который автоматически обновляется. Проект входит в направление «Аналитические инструменты надежности DataOps». Его задача — автоматизировать сбор и предоставление информации о кластерах больших данных (Hadoop, GreenPlum): их конфигурации, загрузке, очередях, пользователях и физическом расположении оборудования в ЦОД. Команда разрабатывает систему, которая собирает данные из разных источников (логи СФД, fsimage, Service Manager, SDP Control), проверяет состояние кластеров и показывает результаты в виде дашбордов и отчётов. Мы предлагаем: Работу в стабильной, надежной компании; Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня; Расширенный социальный пакет; Возможности для профессионального развития: обучение, внутренние и внешние курсы; Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое; Снабжаем современной техникой для работы.ОТКЛИКАЙСЯ =) ЖДУ, КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)Похожие вакансии
Backend Developer / Инженер-разработчик (Python/Go)
Договорная
Москва. Станции метро: Деловой центр
WILDBERRIES
От 300 000 до 350 000 руб.
Москва. Станции метро: Деловой центр
Макаров Егор Андреевич