Обязанности:
Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать наше Data-направление.Стек: Apache Hadoop, Hive metastore, Spark, Flink, Airflow, Trino Задачи: Проектирование и разработка конвейеров обработки данных (Data Pipelines). Создание и сопровождение решений для пакетной и потоковой выгрузки данных. Выстраивание и развитие процессов обработки данных в компании. Организация ELT/ETL-процедур. Оптимизация производительности процессов обработки данных и работы хранилища. Проработка архитектуры хранилища данных Необходимые знания и компетенции: Уверенные навыки создания и оптимизации ETL/ELT процессов. Практический опыт проработки архитектуры хранилищ данных. Уверенное владение SQL и реляционными СУБД (PostgreSQL, MySQL, Oracle и др.). Опыт работы с распределенными системами хранения и обработки данных (Hadoop, Spark, Hive и т. п.). Уверенное знание Python. Опыт работы с Airflow (написание собственных операторов, сенсоров). Опыт работы с различными API. Мы предлагаем: Гибкое начало рабочего дня с 9 до 11. Современный технологический стек. Возможность повлиять на выстраивание процессов. Сможешь поучаствовать в проекте формирования семантического слоя данных. ДМС со стоматологией с первого дня оформления. 4 day-off в году. Корпоративный сервис с поддержкой юриста, психолога и финансового консультанта. Промокоды и бонусы от партнеров. Электронная корпоративная библиотека. Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях. Комфортный большой офис в Москве с тренажерным залом, капсулой сна, свежими овощами/фруктами и бесплатными завтраками.Похожие вакансии