Наша команда создает и развивает продукт для построения Data Lineage на различных технологических стеках хранения и преобразовании информации ( от традиционных РСУБД : PostgreSQL, GreenPlum, … до Hadoop: Hive, Spark, … ). Перед командой стоит задача по созданию продукта не только в рамках платформы Фабрики, но и выхода в экосистему Сбербанка, а далее и на внешний рынок. Data lineage – информация, которая описывает движение данных от источника их происхождения по точкам обработки и применения. В мире Big Data, когда информации становится все больше, Data lineage позволяет управлять данными, реализуя следующие задачи: · Обеспечение качества данных за счет однозначной идентификации их источников; · Повышение доверия к данным через прозрачность всех процессов работы с ними; · Предоставление метаданных и сведений об их изменении в точках трансформации данных. Обязанности · Активное участие в развитие направления Data Lineage; · Разработка агентов сбора Data Lineage на java / scala; · Разработка ядра сервиса. Требуемые навыки: Уверенные знания Java Core(от 3 лет)/Spring Boot Знание CI/CDP инструментов Плюсом будет: Знание Scala, Python, Groovy, Spark Опыт разработки ETL Готовность освоить Hadoop (Spark, Hive) Знание Hadoop (Spark, Hive) Опыт работы в High Load Опыт работы с графовыми БД (у нас JanusGraph, Gremlin) Опыт работы с ElasticSearch, HBase, Kafka, Apache Atlas, Nginx Условия · Интересные задачи (современный стек технологий, нет легаси кода и нет задач "в стол") · Гибкий график работы · Возможность работать из дома · Дружный и отзывчивый коллектив, организованный по принципам Agile · Оплату профессиональных конференций и обучений · Широкие возможности карьерного и профессионального роста · Оформление по ТК РФ · Удобный офис · Соц. Пакет (ДМС, мобильная связь и многое другое) · Скидки от партнеров Экосистемы Сбера
Похожие вакансии