Обязанности:
Технократия цифровизирует бизнес: от небольших компаний до крупных корпораций. СИБУР Диджитал, Камаз Digital, Татнефть, Университет Иннополис — наши клиенты. А ещё внутренние продукты, которые мы выводим на рынок. У нас прозрачные процессы, понятная система грейдов и прогнозируемый рост, культура наставничества, возможность влиять на проекты и быть услышанным. Ищем DE инженера в новое направление от мидла (есть удаленка), но если ты senior - будет вообще пушка, потому что, возможно, ты сможешь стать лидом нового направления). Чем предстоит заниматься: Мониторинг, поддержка, оптимизация ETL-процессов; Интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных) Разработка коннекторов из внешних систем, включая SAP-системы (ERP, BW, MKT) к Hadoop Разработка интеграций в SAP Data Services Написание и постановка на расписание заданий для расчета витрин данных Создание расчетов для новых витрин данных Разработка новых и оптимизация существующих загрузок/выгрузок из Hadoop и ЯО Наши ожидания: Опыт работы от 2 лет Глубокое знание экосистемы Hadoop, включая HDFS, MapReduce, YARN, Hive, Spark и других компонентов (Airflow) Опыт работы с инструментами для обработки и анализа больших данных, такими как Apache Kafka и другими Понимание основ работы с NoSQL и реляционными базами данных, знание SQL Глубокие знания Python Опыт разработки в Grafana будет преимуществом Будет плюсом: Знание английского языка; Опыт работы с библиотеками для анализа данных, такими как Pandas и NumPy; Опыт работы с NoSQL (MongoDB, Clickhouse); Понимание принципов контейнеризации и умение работать с Docker. Стек технологий: Hadoop (HDFS, Hive, YARN, Spark, Kafka), БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, Airflow, ETL Spark, Python/Scala, SAP DSПохожие вакансии