other

Senior data engineer (команда Data lake)

20 ноября 2024

З/П не указана

Город: Москва

Ecom.tech

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 3 лет

Обязанности:

В команде Data Engineering уже более 30 профессионалов Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. Наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3. Чем будем заниматься: развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную; разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, Greenplum, ClickHouse, используя Python и Spark (Scala); участвовать в исследованиях и принимать решения по использованию новых инструментов для обработки данных в компании; развивать практику использования Trino в компании; участвовать в разработке интеграции Trino с каталогом метаданных Datahub. Мы ждём от кандидата: понимание принципов организации хранилищ данных, работы колоночных БД; уверенное знание SQL, Python; готовность изучать Spark (Scala); стремление обосновывать и документировать появляющиеся решения; опыт работы с MPP системами; понимание принципов CI/CD. Будет плюсом, если ты программировал на Scala / Java; знаешь фреймворк Apache Spark, Apache Airflow; умеешь оптимизировать вычисления в MPP системах; работал с форматами iceberg, parquet, protobuf, avro; использовал Trino / Greenplum / ClickHouse; знаком с Kafka Connect. Что интересного у нас есть: ДМС с первого месяца работы в компании; предоставляем множество корпоративных бонусных программ; работаем удаленно: в Москве есть большой и красивый офис — welcome; выдаем технику для работы на твой выбор; помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол); уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование. А ещё: мы сами участвуем в конференциях, как спикеры; проводим внутренние митапы; не боимся экспериментировать с новыми решениями и технологиями :)

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 124441532

Похожие вакансии

Data engineer (команда Data lake)

Договорная

Москва

Ecom.tech

Senior Data Engineer

От 400 000 руб.

Москва

Rubbles

Senior Data Engineer

Договорная

Москва

Instories

Senior Data Engineer

До 500 000 руб.

Москва

Точка

Senior Data Engineer

Договорная

Москва

Rusprofile

Senior Data Engineer

Договорная

Москва

Яндекс