Обязанности:
Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков. ГК Юзтех является технологическим партнёром таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, Go Invest, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет Девелопмент, Х5 Group, Газпромнефть, Лемана Про, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные IT-продукты (Usebus, Octopus, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны. Сфера: Банковская отрасль. Миграция. Задачи: Анализ существующих решений и витрин данных. Миграция витрин данных со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Apache Iceberg + Spark 3.5 + Apache Airflow. Реализация недостающих реплик для витрин данных с источников с использованием готовых кодогенераторов. Переработка существующих решений на целевом стеке, в отдельных случаях — разработка решений с нуля по шаблонам. Построение и развитие витрин данных, участие в их тестировании и валидации. Наполнение и актуализация технической документации по разработанным решениям. Взаимодействие с командами разработки и аналитики в рамках проработки и внедрения решений. Мы ожидаем: Уверенные знания SQL и Python. Опыт работы с Apache Spark. Практический опыт работы с хранилищами данных на базе Hadoop / S3 / S3-compatible storage. Обязательное знание и опыт работы с Apache Iceberg (таблицы, версии, schema evolution, partitioning). Опыт использования Apache Airflow для оркестрации и управления пайплайнами. Понимание форматов хранения данных, в том числе Parquet. Опыт работы с инструментами командной разработки: Git, CI/CD, трекерами задач и документацией (Jira, Confluence или аналоги). Навыки работы с форматами данных JSON, XML. Опыт системного анализа и тестирования data-решений. Базовое понимание работы реляционных СУБД. Базовые знания Kafka и принципов потоковой передачи данных. Мы предлагаем: Работу в компании, которая много лет входит в топы самых престижных рейтингов; Трудоустройство – официальное по ТК РФ и в штат компании; Гибкое утро (с 8 до 12 утра по Москве), рабочий график 5/2, полная удалёнка, гибридный формат или работа из офиса по вашему выбору; Полис медицинского страхования (ДМС + стоматология для сотрудников, скидки на страхование для членов семьи); Подарки, скидки и сертификаты для детей сотрудников; Оплата обучения и сертификаций; Регулярные внутренние семинары под эгидой Корпоративного Университета, посвящённые новым технологиям и самым актуальным темам в области аналитики, разработки, тестирования, управления; Usetech English Club – обучение английскому с корпоративными скидками, разговорный клуб.Похожие вакансии