Описание проекта: Участие в проектах развития систем больших данных банка. Стек технологий на проекте: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow. Обязанности: Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3; Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы); Участие в проектирование технических и архитектурных решений, необходимых для реализации бизнес-задач; Взаимодействие с архитекторами, системными аналитиками, QA, DevOps; Наставничество для новых членов команды. Мы ищем: Опыт в Big Data от 2+ лет (Lakehouse, Hadoop); Глубокое знание SQL, оптимизация запросов в MPP движках; Знание Java/Scala на высоком уровне; Понимание принципов работы Spark; Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников. Мы ценим: Самостоятельность - способность выполнять задачи с минимальным контролем; Командную работу - эффективное взаимодействие и координация с коллегами; Ответственность - доведение задач до завершения с учетом требований качества; Проактивность - инициативность и своевременное уточнение деталей; Развитие экспертизы - постоянное обучение и обмен знаниями в команде. Будет плюсом: Знание Python на базовом уровне; Понимание процесса разработки процессоров NiFi на Python/Java; Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/MS SQL/Postgres; Участие в проектировании архитектуры Big Data решений; Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala; Опыт работы с форматом Iceberg; Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins) - Опыт работы с Docker, K8s . Условия: Официальное оформление по ТК РФ с первого дня работы; Дружеская атмосфера и поддержка с самого начала: для новичков предусмотрен онбординг с опытным наставником, который поможет разобраться в процессах, расскажет о продуктах и всегда будет на связи; Гибкие процессы, которые мы постоянно улучшаем, учитывая мнение каждого члена команды; Минимум бюрократии: большинство вопросов решается быстро через электронный документооборот; Удобный офис в отличной локации с современным оборудованием и всем необходимым для комфортной работы; Уникальные бенефиты: ДМС (включая стоматологию), фитнес, курсы иностранных языков, скидки на продукты банка и партнеров; Поддержка профессионального роста: оплата тренингов, курсов и участие в ИТ-мероприятиях (митапы, хакатоны, конференции); Свобода и комфорт: гибкий график, отсутствие дресс-кода, минимум бюрократии и максимум вовлеченности. Присоединяйся – с нами будет интересно!
Похожие вакансии