Мы — команда GigaSearch, создаём поисковый сервис, который отвечает на запросы пользователей на естественном языке. Наша миссия: дать GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы — включая самые свежие новости и события. Инженер данных в нашей команде — это человек, который строит “платформу качества”: собирает и сводит данные из разных источников, делает витрины и датасеты для оценки, автоматизирует пайплайны и мониторинг, в том числе — в реальном времени, чтобы деградации находились быстрее, чем их увидят пользователи. Если вам интересно работать на стыке data engineering, продуктовой аналитики и поиска — и вы хотите не просто “переливать данные”, а делать инфраструктуру, на которой стоит культура качества AI-продукта — приходите к нам. Над чем мы работаем: единая модель данных для оценки качества ретривера и итогового ответа LLM на продакшн-трафике медальонная архитектура в ClickHouse: bronze (raw) → silver (очищено/нормализовано) → gold (витрины под метрики и мониторинг) автоматические пайплайны оценки и переоценки качества (включая LLM-as-a-judge) и их воспроизводимость витрины и датасеты для оффлайн/онлайн-оценки, A/B-экспериментов и расследований деградаций мониторинг качества данных на потоке: свежесть, полнота, задержки, аномалии, регрессии. Обязанности проектировать и поддерживать ELT/ETL пайплайны в Airflow (надёжность, идемпотентность, ретраи, backfill, SLA) организовать ingestion между БД с понятными контрактами данных развивать медальонные слои в ClickHouse: raw-таблицы, нормализация/обогащение, gold-витрины под метрики качества поиска делать аналитику “почти real-time” в ClickHouse: инкрементальные расчёты, материализованные представления, предагрегации, оптимизация задержек end-to-end разрабатывать витрины и агрегаты: партиционирование, ключи сортировки, управление TTL, контроль стоимости запросов и времени ответа. Требования опыт в analytics engineering от 3 лет (уровень middle+ / senior) очень сильный SQL и практический опыт построения витрин (ClickHouse и/или PostgreSQL; оконные функции, сложные агрегации, оптимизация) уверенный Python для задач ETL/ELT (парсинг, валидация, интеграции, утилиты для пайплайнов) опыт с Airflow в проде (DAG design, зависимости, эксплуатация, backfill) хорошее понимание архитектуры данных и жизненного цикла датасетов (raw → нормализация → витрины), умение делать решения поддерживаемыми. Будет плюсом dbt или аналогичный подход к управлению SQL-моделями (тесты, документация, зависимости) опыт с логами поиска/клика (показы выдачи, клики, сессии, dwell time) и склейкой событий опыт построения мониторинга/дашбордов (Grafana / Superset / DataLens) опыт с Kafka/очередями, Kubernetes, Terraform/Ansible, CI/CD для data-проекта знакомство с OpenSearch/Elastic как компонентом поисковой системы. Условия комфортный современный офис рядом с м. Кутузовская гибридный формат работы (на испытательном сроке посещаем офис, далее 2-3 дня в неделю - работаем из дома). ежегодный пересмотр зарплаты, годовая премия корпоративный спортзал и зоны отдыха система обучения для профессионального и карьерного развития расширенный полис ДМС с первого дня работы и страхование для семьи программа ипотеки для сотрудников бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера.
Похожие вакансии