Обязанности:
Наш партнер аккредитованная ИТ-компания. Основной цифровой партнер одного из ведущих отечественных DIY-ритейлеров и поставщика строительных материалов. Стек: ClickHouse, Pythоn, SQL, AirFlow, Spark, Apache Kafka, Yandex Cloud, Big Data, Kubernetes, FastAPI\Flask API, Java Задачи: Создание хранилищ данных на базе ClickHouse. Разработка ETL-процессов. Написание, оптимизация и профилирование SQL/NoSQL запросов. Расчет сложных аналитических показателей в витринах данных. Настройка ClickHouse (шардинг, репликация), включая взаимодействие с Kafka (попадание сырых данных, решение возможных проблем с очередностью сообщений, валидностью данных). Участие в тестировании потоков с целью обеспечения их стабильной работы. Написание backend сервисов на Java. Участие в разработке архитектуры, процессов и инструментов для работы с данными. Обеспечение контроля качества данных, мониторинг, анализ и устранение проблем с качеством данных. Требования: Опыт работы Data Engineer от 5 лет. Опыт работы с ClickHouse. Знание брокеров сообщений (Kafka). Опыт работы с Kubernetes проектами. Владение языком программирования Java. Участие в проектах по созданию DWH, Data lake. Опыт построения и развития высоконагруженных систем. Условия: Официальное трудоустройство в аккредитованную ИТ-компанию со всеми льготами. Забота о здоровье: врач в офисе, полис ДМС через 3 месяца. Оплата обучения и участия в конференциях. Йога в офисе, команды по баскетболу, волейболу, футболу. Насыщенная корпоративная жизнь. График работы: 5/2, удаленный формат работы, можно работать из любой комфортной точки или из нашего офиса в Санкт-Петербурге.Похожие вакансии