Обязанности:
Технократия цифровизирует бизнес: от небольших компаний до крупных корпораций. СИБУР Диджитал, Камаз Digital, Татнефть, Университет Иннополис — наши клиенты. А ещё внутренние продукты, которые мы выводим на рынок. У нас прозрачные процессы, понятная система грейдов и прогнозируемый рост, культура наставничества, возможность влиять на проекты и быть услышанным. Ищем DE инженера в новое направление от мидла (есть удаленка). Чем предстоит заниматься: интеграция с внешними и внутренними источниками; построение ETL пайплайнов; проверка качества данных ; регистрация происхождения данных; настройка систем мониторинга; поддержка систем интеграции; написание, параметризация и профилизация запросов к СУБД; написание библиотек и сервисов интеграции. Наши ожидания: опыт работы с Apache Airflow; опыт работы с pySpark; знание SQL; опыт работы с OLAP СУБД; понимание принципов и основных методов построения архитектуры хранилища данных; опыт работы в Linux (командная строка); опыт работы с Docker или Kubernetes; опыт работы с Apache Nift; опыт работы с Apache Kafka; опыт работы с OLTP СУБД; опыт работы с Git; понимание принципов и основных методово построения архитектуры платформ данных; понимание подходов к обработке данных. Будет плюсом: знание Python; знание JAVA; опыт работы с Apache Spark; опыт написание коннекторов Kafka Connect; опыт написания процессоров Nift; опыт построения CI/CD пайплайнов в Gitlab.Похожие вакансии