Обязанности:
В IT аккредитованную компанию ищем специалиста - инженера данных. ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Развитие платформы данных, созданием инструментов обработки данных и фреймворков Участие в проектах с реальной ценностью для бизнеса компании Загрузкой данных из систем источников в узел данных и обеспечением их доступности Автоматизацией аналитических задач Разработкой и оптимизацией алгоритмов операционного анализа данных Взаимодействием с аналитиками данных (data scientists), производственными и функциональными экспертами для определения требований к выгрузке, конвертации и представления данных ЧЕГО МЫ ЖДЁМ ОТ КАНДИДАТА: Знание ЯП (Java/Python) на хорошем уровне. Знание SQL, опыт работы с реляционными СУБД (Oracle/MySQL/PostgreSQL) Опыт проектирования и реализации системы сбора и обработки данных Опыт работы с *nix системами БУДЕТ ПЛЮСОМ Знание Vertica Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR) Умение работы с Avro, Parquet форматом данных (типы, сжатие, выбор сортировок) Умение работы с распределенным хранилищем HDFS Знание и умение работы ETL/ELT инструментами, Apache NiFi будет дополнительным плюсом Знание и умение работы с AMQP (Kafka, RabbitMQ) Понимание и умение работы со стеком продуктов на платформе Hadoop. Желательно Spark, Spark Streaming, HBase, Impala, Hive; Управление кластером Hadoop (развёртывание, мониторинг, оптимизация) Знание интерфейсов, методов управления разработкой и конфигурациями НАШИ БОНУСЫ: Работа в аккредитованной ИТ-компании. Гибридный формат работы ( 2/3 дня офис) ДМС со стоматологией и льготное страхование родственниковПохожие вакансии