Обязанности:
О нас CPS.ai — это неформальная обстановка, крутые ИТ-проекты в области Big Data и решения, конкурирующие с лидерами рынка! Наша команда растёт и мы ищем Data Engineer, которые помогут команде спроектировать новый функционал и модернизировать действующие системы на крупном проекте. BigData + Machine Learning + HighLoad > Это про нас) Тебя ждёт: Ты любишь разбираться в сложных потоках данных, строить архитектуру, где всё работает быстро и надёжно? Хочешь поработать над масштабным проектом, где твои решения будут влиять на будущее цифровых сервисов? Тогда тебе к нам! Мы строим современный data lakehouse, и твоя экспертиза станет ключевой частью этого процесса. Твои задачи: Проектирование и разработка производительных ETL-процессов: от загрузки XML-источников до хранения в Parquet (S3) и последующей трансформации в реляционные структуры Нормализация, дедупликация и идентификация "золотых" записей в данных Работа с обезличенными семплами данных на удалённом стенде в Яндекс Облаке Перенос и внедрение решений в закрытый контур заказчика Оптимизация потоков данных для высокой производительности и масштабируемости Взаимодействие с командой аналитиков, разработчиков и архитекторами Документирование решений и поддержка процессов передачи знаний Требования: Опыт работы Data Engineer от 1 года Уверенное владение Python и инструментами для обработки данных (pandas, pyarrow и др.) Опыт построения ETL/ELT-процессов, желательно с использованием Airflow Знание принципов работы с S3, Parquet, реляционными БД (PostgreSQL и др.) Навыки работы с XML: парсинг, трансформация, валидация Понимание принципов нормализации данных, дедупликации, поиска "золотых" записей Опыт работы с облачными платформами (Яндекс Облако, AWS и др.) Готовность подписать NDA и работать с обезличенными данными Умение работать в команде, самостоятельность, ответственность Бенефиты: Официально аккредитованный работодатель Полностью удалённая работа на территории РФ Современное топовое оборудование Разнообразные технологичные проекты Профессиональный и личностный рост Оформление по ТК РФ, конкурентная заработная плата Профессиональное обучение и конференции по запросу Минусы: Очень много интересных и сложных задач))) Будут спрашивать результаты работы Готов создавать вместе с нами сервисы будущего? Готов брать на себя ответственность за сложные вызовы? Если да, ждём твоё резюме, рады будем видеть тебя в команде!Похожие вакансии