Инженер данных

Обязанности: интеграция данных из систем источников в хранилища данных (ETL/ELT); создание и развитие хранилища для около риал тайм данных (Postgres); создавать и улучшать процессы обработки данных; принимать участие в создании интеграций новых источников в DataLake; принимать участие в архитектурных решениях; разрабатывать процедуры формирования детального слоя данных и слоя витрин (GP, Postgres); реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus); покрывать интеграции и расчеты витрин проверками качества данных; документировать свою работу в Яндекс Вики; работать в Яндекс Трекере; работа с инцидентами в ITSM инструменте. Требования: знания принципов работы БД, построения ХД; опыты разработки ETL процессов (NiFi, Flink); имеет опыт работы с системами контроля версий (Git); опыт работы с высоконагруженными системами хранения и обработки данных; отличное знание SQL, опыт оптимизации запросов (GreenPlum, Postgres); опыт самостоятельного ведения проектов; опыт разработки на Python; желание обучаться и развиваться; понимание работы брокеров сообщений (Kafka); опыт работы с Machine learning моделями будет плюсом (Kubernetes, Kuberflow). Условия: гибкая система премирования; расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи; работа в компании с развитой инженерной культурой; автономность работы, возможность менять правила, ошибаться и создавать новое; возможность профессионального роста, программы развития для сотрудников; корпоративное обучение и доступ к базе знаний; внутренние профессиональные сообщества и мероприятия; гибридный формат работы/удаленный формат работы; современный офис в 2 минутах ходьбы от МЦК ЗИЛ.