Обязанности:
Мы в поиске Senior Big Data Engineer в направление дата инжиниринга, который будет участвовать в разработке рекламной платформы.Ключевая задача проекта: спроектировать и разработать дата-контур для построения трех категорий отчетов (post-click, post-view, salelisft). Для этого требуется разработать витрины и ETL их построения (как стриминг, так и батч). Чем предстоит заниматься: Проектировать архитектуру модели данных для realtime хранилища рекламной платформы; Строить отчетность, показывающую результат и эффективность открутки рекламной кампании в Real-time режиме; Обеспечивать качество данных в разных системах, проектировать Data Quality; Разрабатывать витрины для продуктовой аналитики рекламы; Оптимизировать действующие пайплайны на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых ресурсов; Проектировать хранилища данных на основе Hadoop и Clickhouse, настраивать производительность/мониторинг - думать над тем что и как грузить и в каких партициях; Решать задачи, связанные с внедрением облачной инфраструктуры; Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы; Анализировать и внедрять инструменты инжиниринга данных. Мы ожидаем: Опыт работы с Clickhouse; Опыт работы со стеком Hadoop (YARN, HDFS, Hive); Опыт работы в Spark и Spark Streaming/Flink; Опыт в проектировании хранилищ систем near realtime отчетности; Понимание инфраструктуры Apache Kafka; Владение одним из языков программирования (Java, Scala). Будет плюсом: Опыт сбора и обработки требований; Опыт работы с Docker.Похожие вакансии