Привет! Мы — ООО «Датаномика», решаем проблемы структурирования разнородных данных, которые сложно поддаются анализу, помогаем среднему и малому бизнесу, банкам, ритейлу использовать данные чеков для оценки конъюнктуры спроса и экономических показателей, помогаем банкам повысить качество сервиса финансового планирования и аналитики для клиентов. О проекте: В компании существует ресурсный пул, занимающийся практикой решений под тех.стек Spark+Hadoop для заказчика под ключ. Существуют проекты вида: Разработка фреймворка для команд, разрабатывающие витрины, с целью понижения порога входа в разработку. Переложить данные из нескольких источников в структуру и сделать это оптимально. Реализовать алгоритмы матчинга между двумя и более сущностями (чеки, депозиты, пластик, клиенты и т.д.) с применением знаний теории вероятностей и мат. статистики. Заменить существующее неоптимальное решение по построению витрины данных, исправив ряд явных проблем производительности. В практике существуют эксперты со знаниями Spark Framework и подходов к решению задач и оптимизации, которые могут выполнять роль архитектора проекта, куратора и источника экспертизы для передачи знаний и роста. Обязанности: Разработка нового функционала для фреймворка; Разработка ETL процессов на стеке Spark+Hadoop; Участие в процессе разработки алгоритмов матчинга данных между различными АС и внешними источниками; Формирование дистрибутива под pipeline заказчика, выявление проблем и накат дистрибутива до тестовых стендов; Обеспечивать третью линию поддержки; Проводить тестирование на тестовых стендах перед передачей аналитику; Диагностировать проблемы — по логам, описанию пользователей и другим косвенным признакам как на стендах тестирования, так и с прома. Техстэк - Java, Kafka, Hadoop, Spark. Требования: Знание SQL, понимание и применение нормальных форм. Понимание XML и json; Знание Scala или Java на уровне фреймворка Spark, процессов CI/CD; Опыт работы по agile/scrum; Умение работать с бэкэндами без UI (swagger, curl, SQL, логи); Опыт работы в DWH проектах и написания ETL процессов; Умение брать на себя ответственность и доводить задачу до конца; Грамотная устная и письменная речь; Стрессоустойчивость и соблюдение субординации – не всегда критично, но заказчики бывают разные; Мы предлагаем: Работа в ИТ-аккредитованной компании Формат работы: офисный/гибрид Гибкий график работы Официальная «белая» зарплата Оформление с первого рабочего дня, полное соблюдение ТК РФ Интересные, амбициозные задачи с достижимым результатом Достаточную свободу действий, инструментарий и необходимые ресурсы Регулярное обучение и профильные конференции за счёт компании, современное оборудование для работы
Похожие вакансии