Аналитик по наблюдаемости и контролю данных

Мы ищем специалиста, который будет глубоко вовлечён в процессы качества, прозрачности и надежности данных внутри платформы мониторинга (observability). Эта роль предполагает непосредственную работу с потоками данных: анализ, проверку, тестирование и сопровождение инцидентов, а также участие во внедрении и поддержке лучших практик наблюдаемости. Обязанности: Проводить анализ потоков данных и метрик в системах мониторинга и наблюдаемости; Проверять данные на полноту, корректность и соответствие требованиям, использовать подходы Data QA для обеспечения качества и достоверности данных; Детально разбирать инциденты и выявлять причины проблем с данными (исследование логов, трассировок, метрик, работа с ETL), документировать ошибки и вносить предложения по их устранению, вести структурированную базу знаний;Оформлять и поддерживать техническую документацию: схемы потоков, чек-листы, инструкции, описание архитектуры; Принимать участие во внедрении и поддержке стандартов и методик контроля качества данных (Data Reliability/Observability Best Practices); Участвовать в развитии и поддержке in-house платформы мониторинга: вносить улучшения, автоматизировать процессы контроля и проверки данных; Распространять и внедрять эти процессы и стандарты: делиться компетенциями, создавать обучающие материалы\инструкции, консультировать команды разработчиков и сопровождения. Требования: Имеете опыт работы с инструментами мониторинга и наблюдаемости (Prometheus, Grafana, ELK/EFK, OpenTelemetry или аналоги);Понимаете, как устроены потоки данных, умеете разбирать структуру и формат метрик, логов, событий и данных ETL; Обладаете практическим опытом работы с ETL/ELT-процессами — умеете самостоятельно настраивать, поддерживать и оптимизировать пайплайны передачи и трансформации данных; Знаете основы построения архитектуры ETL: знакомы с концепциями источников и приёмников данных, знаете форматы хранения (CSV, JSON, Parquet и др.), используете методы валидации, проверки и очистки данных; Отлично владеете инструментами анализа данных и автоматизации проверки (SQL, Bash/Python-скрипты, Linux-utils, Jupyter Notebooks, Pandas, Airflow, Tableau, ClickHouse, Splunk и др.); Системно подходите к анализу инцидентов в данных (root cause analysis), умеете готовить постмортемы и рекомендации; Умеете грамотно вести и обновлять техническую документацию, делиться знаниями с коллегами, создавать понятные инструкции и чек-листы; Способны следовать и помогать внедрять стандарты и регламенты контроля качества данных, участвовать в обучении коллег; Обладаете внимательностью, педантичностью, любите разбираться в деталях и находить причины даже сложных аномалий в данных; Готовы предлагать новые инструменты для анализа и автоматизации проверки данных, участвовать во внедрении best practices и развитии культуры качества данных в команде; Обладаете практическим опытом Data QA: умеете разрабатывать и выполнять тесты для мониторинга и ETL-процессов, обеспечивать высокое качество и соответствие данных требованиям, использовать автоматизированные методы проверки и сопровождать аудит данных.​​​​​