Обязанности:
Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня. Сейчас у вас есть возможность присоединиться в качестве Инженера данных к команде развития платформы 1С. Стек: Scala, Spark, Airflow, Python, Git, hdfs, bash, SQL. Итак, вам предстоит: Поддержка процессов репликации домена 1C retail на платформу DMP. Развитие мониторинга и алертов процесса репликации. Создание аналогичных процессов в новых доменах: разворачивание пространства gitlab, airflow, настройка spark загрузчика. Разбор возникающих инцидентов и проблем на ежедневной основе. Анализ логов spark-приложений, исправление ошибок, правки репозиториев и проектов, актуализация метаданных. Поддержка функционала выгрузки из SQL Server -> Hive, проверка качества данных, проведение сверок, оперативное устранение ошибок для своевременной выгрузки. Оптимизации запросов, приложений, рефакторинг кода с целью соблюдения стандартов. Разработка сложных оптимальных SQL-запросов на высоконагруженных БД. Развитие и доработка spark-загрузчика (SQL Server->Hive), настройка оптимальной конфигурации на spark для ускорения загрузки. Мы будем рады рассмотреть вашу кандидатуру, если у вас есть: Понимание принципов и технологий построения хранилищ данных. Опыт проектирования баз данных, разработки сложных и оптимальных SQL-запросов (SQL SERVER/Oracle/PostgreSQL/др.) в высоконагруженных системах от 3-х лет. Разработка скриптов/систем по копированию больших объемов данных между базами. Опыт программирования (ООП), разработки алгоритмов и структур данных. Разработка проектов (Java/C#/Scala/SQL). Уверенное знание Linux, опыт разработки cmd- и bash-скриптов от 1-го года. Наличие практического опыта работы с Hadoop (Hive, Spark, Airflow, HDFS, YARN, опционально Kafka), понимание парадигмы map-reduce и алгоритмов работы Spark. Разработка приложений на Spark от 1-го года. Фундаментальные знания принципов построения распределенных систем хранения и обработки данных. Понимание принципов проектирования многопоточных приложений, включая отказоустойчивость, безопасность и производительность. Уметь сокращать трудозатраты на выполнение монотонных работ, автоматизация процессов в высоконагруженных системах. Стремление оптимизировать процессы. Оперативное решение задач в сложных/аварийных ситуациях. Что мы предлагаем: Трудоустройство в аккредитованную ИТ-компанию; Сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться; Удобные инструменты разработки — компания предоставит тебе необходимое ПО и мощный ноутбук; Обучение, участие в интересных проектах и расширение профессиональной экспертизы; Конструктивную и открытую рабочую атмосферу; Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках; Корпоративные скидки на фитнес, обучение, путешествия и т.п.; Служебную сотовую связь.Похожие вакансии