Обязанности:
Уважаемый соискатель! Мы ищем опытного Senior Data Engineer со знанием Scala для усиления нашей команды. Если у вас есть страсть к обработке больших данных, отличные навыки программирования и желание работать в динамичной среде, мы будем рады видеть вас в нашей команде. Основные обязанности: Проектирование и разработка масштабируемых и надежных ETL-процессов. Работа с большими объемами данных, их очистка, преобразование и загрузка в аналитические системы. Разработка и оптимизация высокопроизводительных решений на основе Apache Hadoop, Apache Spark и других технологий больших данных. Интеграция данных из различных источников, включая базы данных, API и поточные данные. Участие в архитектурных решениях и выбор технологий для новых проектов. Написание качественного и поддерживаемого кода на Scala. Работа в тесном сотрудничестве с аналитиками, дата-саентистами и другими членами команды для обеспечения точности и полноты данных. Настройка и поддержка инструментов мониторинга и алертинга для ETL-процессов. Требования: Опыт работы в области обработки данных от 5 лет. Отличные знания и опыт работы со Scala. Опыт работы с экосистемой Hadoop (HDFS, YARN, Hive, HBase). Глубокое понимание принципов работы Apache Spark. Опыт работы с системами управления потоками данных (Kafka, Flink и др.). Знание SQL и опыт работы с реляционными и NoSQL базами данных. Умение работать с системами контроля версий (Git). Опыт работы с инструментами контейнеризации и оркестрации (Docker, Kubernetes). Отличные аналитические и проблемные навыки. Будет плюсом: Опыт работы с облачными платформами (AWS, GCP, Azure). Знание Python или других языков программирования. Опыт работы с инструментами CI/CD. Понимание принципов машинного обучения и опыт работы с ML-платформами. Мы предлагаем: Конкурентоспособную заработную плату. Гибкий график работы и возможность удаленной работы. Профессиональное развитие и обучение. Участие в интересных и инновационных проектах. Дружный и профессиональный коллектив. Социальный пакет (ДМС, оплачиваемый отпуск и больничные). Если вы обладаете необходимыми навыками и хотите работать над сложными и интересными задачами в области больших данных, мы будем рады видеть ваше резюме. Присоединяйтесь к нашей команде и помогите нам создавать передовые аналитические решения!Похожие вакансии