Обязанности:
Компания, занимающаяся разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой B2B решения развлекательной, игровой и спортивной тематики находится в поиске Senior Data Engineer.Чем предстоит заниматься: Разрабатывать и поддерживать ETL/ELT пайплайны для обработки данных из PostgreSQL, MongoDB, ClickHouse. Выполнять интеграцию источников данных в Data Lakehouse. Оптимизировать процессы загрузки и обработки данных. Работать с потоками данных через Kafka и обработкой в Spark. Анализировать текущие пайплайны и внедрять улучшения. Интегрировать данные между Data Lakehouse и BI-системой. Оптимизировать аналитические запросы для визуализации отчетов и дашбордов. Необходимые навыки и опыт: Опыт работы с большими данными от 2+ лет. Реализация интеграции с реляционными и NoSQL базами. Опыт работы с ClickHouse для аналитических запросов. Опыт работы с DBT и Trino. Знание инструментов CDC (Debezium, Kafka Connect). Опыт построения Lakehouse через анализ и улучшение текущих подходов. Уверенное владение PostgreSQL, MongoDB, ClickHouse. Знание Python и использование опыта в задачах обработки данных. Опыт работы с инструментами оркестрации (Airflow, NiFi). Знание Apache Spark, Kafka. Навыки аудита и оптимизации ETL-процессов. Будет плюсом: Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset) Что компания может предложить: Социальные гарантии: Белая заработная плата 2 раза в месяц, которая зависит от пожеланий, скиллов и опыта; Годовой бонус (13-я ЗП); Реферальная программа за успешную рекомендацию кандидата; ДМС, подарки для сотрудников и их детей. Комфортные условия работы: Формат работы - офис/гибрид/удаленно; Гибкое начало рабочего дня; 4 day-off в год за счет компании; Бесплатные корпоративные обеды и сладости; Абонемент в спортзал за счет компании; Рабочее место оборудовано современной техникой с учетом Ваших пожеланий; Отсутствие бюрократии, вопросы решаются оперативно, без многочисленных согласований. Перспективы самореализации и развития: Наличие большого количества задач, которые дают возможность материального и профессионального роста; Поездки на ИТ-конференции, митапы, учебные курсы за счет компании; Компенсация оплаты занятий по английскому языку; Большая высококвалифицированная команда, тимлид, техлид, проджект менеджер, к которым всегда можно обратиться :)Похожие вакансии