Обязанности:
О проекте: Мы развиваем распределённую систему сбора и обработки данных с высокой нагрузкой. Это инженерно сложный продукт: масштабирование, устойчивость, антибот-защиты, работа с ограничениями и нестабильными источниками данных. Ищем инженера уровня Lead / Architect, который уже имеет опыт построения подобных систем и готов брать на себя архитектуру и ключевые технические решения. Что предстоит делать: — Проектировать архитектуру распределённой системы сбора данных — Принимать ключевые технические решения (антибот, прокси, масштабирование) — Строить и развивать устойчивые data pipeline (сбор → обработка → хранение) — Оптимизировать систему под высокую нагрузку и рост объёмов данных — Развивать подходы к отказоустойчивости, качеству и стабильности данных — Формировать технические стандарты и best practices в команде — Участвовать в развитии инфраструктуры и архитектуры продукта — Менторить инженеров и усиливать команду Ключевые навыки для этой роли: — Опыт проектирования и построения распределённых систем — Опыт разработки и масштабирования highload-сервисов — Практический опыт построения систем сбора данных (парсинг / краулинг / scraping-инфраструктура) — Понимание архитектурных паттернов:масштабирование, отказоустойчивость, асинхронность, очереди — Опыт принятия архитектурных решений и ответственности за них — Сильная база в вебе: HTTP/HTTPS, cookies, headers, клиент-серверное взаимодействие — Коммерческий опыт backend-разработки (Node.js или аналогичные технологии) — Опыт работы с: • PostgreSQL • системами очередей (RabbitMQ, Kafka или аналоги) • Docker / Kubernetes Нам важно: — Опыт обхода антибот-защит (Cloudflare, Akamai, DataDome и др.) — Работа с прокси-инфраструктурой (ротация, управление пулами) — Опыт работы с CAPTCHA (reCAPTCHA, hCaptcha) — Опыт автоматизации браузера (Puppeteer, Playwright) Условия: — Удалённая работа и гибкий график — Возможность напрямую влиять на архитектуру и технические решения — Сложные инженерные задачи и нетривиальные кейсы — Минимум бюрократии и быстрые решения — Сильная команда инженеровПохожие вакансии
Senior / Lead DevOps Engineer (Highload & Infrastructure)
От 300 000 до 400 000 руб.
Москва
VPNM (Тихонов Денис Олегович)