Мы ищем Data engineer в команду развития специализированных витрин данных. Обязанности Чем предстоит заниматься: разрабатывать и поддерживать витрины данных в облачной экосистеме проектировать и улучшать архитектуру системы разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам внедрять контроль качества данных (SODA). Требования высшее образование опыт в аналогичной роли от 3 лет понимание принципов модели распределенных вычислений опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL опыт промышленной разработки на стеке Scala/Java/Python знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.) опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.) хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server опыт работы с S3, HDFS знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows) понимание подходов к организации разработки (CI/CD, DevOps). Будет плюсом: опыт работы с Iceberg опыт работы с DataHub/OpenMetaData опыт работы с SODA/GreateExpectation опыт работы с ClickHouse опыт работы с Kubernetes навыки работы с генеративными AI-моделями опыт создания AI-агентов и использования их в работе будет преимуществом. Условия офис рядом с метро Маяковская гибридный формат работы годовой бонус и ежегодный пересмотр расширенный ДМС с первого дня + стоматология и льготное страхование для семьи корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях 90 дней удаленной работы из любого региона РФ льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.
Похожие вакансии