Обязанности:
Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня. Итак, вам предстоит: Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами) Поиск и исследование источников данных для последующей интеграции Оценка пригодности, качества исходных данных Разработка ETL процессов на Spark Оркестрация ETL процессов в Airflow Проектирование баз данных Создание конвейеров данных NiFi Мы будем рады рассмотреть вашу кандидатуру, если у вас есть: Любит работать в команде и умеет это делать Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы. Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции) Работал с Hive, PostgreSQL Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество) Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink Интересуется Flink, пробовал применять его в проектах Умеет проектировать базы данных (знает Data Vault 2.0 например) Понимает принципы работы реляционных СУБД и HDFS Имеет представление о колоночных и NoSQL СУБД Понимает подходы к работе с качеством данных Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям Наш стек: Scala / Python Hadoop (hdfs, hive) Apache Условия: Трудоустройство в аккредитованную ИТ-компанию; Удаленный формат работы; Сильную команду специалистов, с которой можно расти; Свободу в принятии решений, возможность влиять на процесс и результат; Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом; Ежегодный процесс ревью; Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок; Внешнее и внутреннее обучение, участие в митапах и конференциях; Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках; Корпоративные скидки на фитнес, обучение, путешествия и т.п. Служебную сотовую связь.Похожие вакансии