Обязанности:
Крупная продуктовая IT-компания находится в поисках опытного Big Data Engineer для разработки решений процессинга больших объемов данных (объем 3+ PB, прирост 1+ PB/year) в составе команды Data Platform Team. Задачи: Проектирование процессов хранения и процессинга данных (batch, stream); Проектирование архитектуры реляционных и noSQL БД; Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB; Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности. Обязательные требования: Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных; Понимание принципов работы кластерных решений и способов достижения требуемой производительности; Понимание назначения и различий форматов хранения данных; Знания SQL на высоком уровне (ClickHouse, PostgreSQL); Знание Python (PySpark); Знания и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов); SPARK; Будет большим преимуществом: Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности; Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake, Delta Lake); Опыт работы с Presto, Trino, Star Rocks DB; Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions); Опыт работы с Data Lakehouse форматами данных; Опыт разработки с использованием Flink. Условия, предоствляемые с нашей стороны: Полный релокационный пакет при переезде на Кипр, в Лимасол; Помощь в поиске постоянного жилья на Кипре сотрудниками нашего hospitality отдела; Оформление разрешения на работу для вас и ВНЖ для членов вашей семьи; Возможность брать беспроцентную ссуду у компании в случае крупных покупок; Гибкий рабочий график; Творческая атмосфера в коллективе; Завтраки и обеды в офисе - за счет компании; Бонусы по результатам работы и годовой бонус по итогам работы за год; Компенсация профессионального образования и уроков английского; Достойный доход, соответствующий вашей квалификации; Прекрасные корпоративные мероприятия с большим размахом; Широкие возможности роста и развития.Похожие вакансии