Обязанности:
Компания Cinimex – разработчик ПО и системный интегратор. Мы работаем с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. К своему 28-летию компания имеет уникальный опыт разработки программных решений и продолжает развивать свою экспертизу: разработка на микросервисной архитектуре, машинное обучение и искусственный интеллект, IoT, продуктовое направление и автоматизация предприятий. Сейчас мы в поисках Data Engineer к нам в команду. Задачи: Разработка ETL на Apache Spark (Java стек); Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse); Разработка витрин данных в Greenplum и ClickHouse; Оркестрация ETL-процессов; Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль); Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset. Ожидаем от Вас: Опыт работы с Apache Spark от 1 года; Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет; Опыт работы с Hadoop (HDFS, Hive); Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных; Опыт оптимизации ETL-пайплайнов и SQL кода; Продвинутые знания SQL; Понимание принципов работы распределенных систем; Готовность осваивать Java для использования Spark. Будет плюсом: Опыт разработки на Java; Опыт работы в проектах, связанных с миграцией данных или BI-платформ; Опыт работы в банковской сфере, понимание бизнес домена; Опыт работы в крупных проектах с высокими требованиями к надежности. Мы предлагаем: Работу в аккредитованной IT-компании; Формат работы: офис/гидрид (г. Москва); Гибкое начало рабочего дня: с 08:00 до 11:00; ДМС со стоматологией, телемедициной и полисом ВЗР; Возможность взять больничный без больничного: 7 дней в году; IT-конференции, курсы, тренинги и сертификацию за счет компании; Внутренние митапы и семинары для обмена опытом и экспертизой; Курсы английского онлайн, с компенсацией стоимости; Систему фидбеков, планов развития и роста в должности.Похожие вакансии