Обязанности:
IT-компания Selecty ищет Data Engineer на проекты нашего партнера! Мы аккредитованная IT компания. C 2013 года успешно решаем задачи любой сложности в рамках цифровой трансформации для крупного бизнеса. Задачи: Проектирование и разработка SQL-процедур обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow) Оптимизация производительности кода Разработка и ведение схемы данных Участие в проведении тестирований Взаимодействие с аналитиками, командами развития платформ, DevOps инженерами Развитие wiki в Confluence Cтек технологий: SQL Hadoop Spark SCALA Hive Наши ожидания от кандидата: Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive) Опыт работы с промышленными DWH на основе MPP СУБД (Teradata, Exadata, Greenplum), от 2-х лет Знание теории построения DWH ETL - практический опыт проектирования и разработки регламентных потоков данных при помощи Airflow SQL - уверенные знания (DML,DDL), опыт разработки хранимых процедур Опыт работы с библиотекой Pandas Опыт работы с Impala Понимание принципов и инструментария CI/CD (Git/Bitbucket, Teamcity). В приоритете Selecty - твой комфорт, поэтому у нас: - Возможность участвовать в масштабных и разнообразных проектах;- Удаленная работа или удобный офис;- Обучение: мы посещаем профильные конференции, учимся на курсах и тренингах.- ДМС со стоматологией, скидки на изучение английского языка и от других партнеров компании.- Статус аккредитованной IT-компании.Похожие вакансии