Обязанности:
В связи с активным расширением мы в поиске senior инженера данных в проект импортозамещения оперативного хранилища данных с применением концепции LakeHouse. ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Создание ядра (загрузка, мониторинг и реконсиляция данных) для автоматизации работы оперативного хранилища данных. Стек: Hadoop, Iceberg, PySpark, Airflow, Hive, Impala, Trino НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА: Понимание SQL и NoSQL баз данных, уверенное владение SQL синтаксисом. Хорошее знание и практические навыки в одном из языков программирования (Python, Java, Scala). Понимание принципов работы распределенных файловых систем (HDFS, Ozone, Minio), а так же опыт работы с одним из них как с хранилищем NoSQL базы данных. Опыт работы с одном из SQL движков (Hive, Impala, Trino), а так же табличными форматами, предпочтительно с Iceberg. Практический опыт работы со Spark и понимание принципов его работы. БУДЕТ ПЛЮСОМ: Airflow ЧТО МЫ ПРЕДЛАГАЕМ: Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.); Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы; Забота о вашем здоровье: ДМС после испытательного срока, куда входит стоматология; Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI; Гибкий график или полная удаленка (по итогам общения с командой); Комфортные и современные офисы в городах присутствия (Москва, Санкт-Петербург, Белгород, Самара, Саратов, Новосибирск, Уфа); Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.дПохожие вакансии