Обязанности:
Наша задача — развитие лотерейной культуры в России. Сделать лотереи по-настоящему национальной традицией, объединяющей поколения, где каждый сможет найти свою игру. В связи с развитием компании ищем в нашу команду Data engineer. ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Разработка, поддержка и оптимизация ELT и CDC процессов загрузки данных из источников (bash, python, airflow, peerdb) в соответствии с архитектурными стандартами; Построение, поддержка и оптимизация обработки данных в Datalake и сырого слоя DWH (s3, clickouse, dbt, airflow); Отслеживание полноты, качества и описания данных из источников (dbt, openmetadata); Организация и заключение контрактов на поставку данных из источников (dbt, openmetadata); Настройка системы оповещений: Messenger/email уведомления о проблемах качества, SLA нарушениях, падениях загрузок и отчетности (airflow); Полное описание объектов сырого слоя: dbt docs, data catalog; Ведение переговоров с владельцами источников данных; Консультации дата-аналитиков по источникам данных; Консультации и обмен знаниями с пользователями об источниках данных. МЫ ОЖИДАЕМ: Знания основ промышленной разработки программного обеспечения и его беспрерывной доставки; Знания способов взаимодействия компьютерных систем при передачи данных; Знания архитектуры построения озер и хранилищ данных, теорию СУБД; Навыки использования Linux на уровне продвинутого пользователя; Навыки виртуализации и контейнеризации; Знания основ информационной безопасности; Опыт организации сбора из внешних и внутренних источников по сетевым протоколам и прикладным API; Опыт организации хранения и обработки данных в корпоративном озере и хранилище данных: Minio S3, Clickhouse, PostgreSQL; Опыт использования декларативных языков запросов и разметки: SQL (приоритет Clickhouse), regex, jinja, yaml, json; Опыт использования Docker и Kubernetes как среды исполнения ПО в Linux окружении; Навыки программирования на языках: Python, Bash; Владение инструментами Data стека: Aiflow, dbt, PeerDB; Владение инструментами локальной разработки: VS Code, DBeaver, Jupyter; Владение инструментами CI\CD: Gitlab ВАЖНО: готовность пройти испытательный срок (3 месяца) в офисе (Москва). МЫ ПРЕДЛАГАЕМ: Оформление согласно ТК РФ; Возможен офисный, гибридный или удаленный формат работы; График работы 5/2, время работы 9-18/10-19; Реальная возможность карьерного роста - штат компании за последний год увеличился в два раза, в первую очередь мы рассматриваем кандидатов на повышение из внутреннего кадрового резерва; ДМС со стоматологией после испытательного срока; Современный стек технологий, масштабные интересные задачи; Корпоративная скидка для сотрудников на покупки через BestBenefits — сервису скидок и привилегий для приобретения различных товаров и услуг; Возможность найти друзей по интересам — в офисе есть команда футбольного клуба, обучающий портал и много других интересных мероприятий.Похожие вакансии