Обязанности:
В команде Data Engineering уже более 30 профессионалов Мы создаем хранилища данных и инструменты для их анализа и использования в аналитике, BI, ML. В связи с ростом компании и новыми задачами, мы ищем инженера в группу разработки и развития транспортировки данных. Между собой мы называем команду "Research & development" или просто RnD. Команда занимается исследованием и внедрением новых технологий, созданием инструментов для работы с данными, разрабатывает стандарты. наш фокус на Data Lake: загрузка данных из источников (API, Kafka, CDC, PostgreSQL, MySQL и другие), трансформация данных в табличный вид, разработка инструментов по транспортировке данных между аналитическими СУБД (Greenplum, ClickHouse) и S3. Чем будем заниматься: дорабатывать Kafka Connect для задачи загрузки данных в Data Lake; разрабатывать, оптимизировать и мониторить ETL-процессы на основе технологий Airflow, S3, Greenplum, ClickHouse, используя Python и Spark (Scala); подключать новые источники к Trino; создавать инструменты для упрощения ETL разработки; развивать существующее CDC-решение на базе Debezium и Spark Streaming: улучшать мониторинг, автоматизировать то, что делается вручную; развивать практику использования Trino в компании; участвовать в разборах инцидентов по сервисам команды. ⭐️ Мы ждём от кандидата: понимание принципов организации хранилищ данных, работы колоночных СУБД; уверенное знание SQL, Python; готовность изучать Spark (Scala); стремление обосновывать и документировать появляющиеся решения. Будет плюсом, если ты: программировал на Scala / Java; знаешь фреймворки Apache Spark, Apache Airflow; работал с форматами iceberg, parquet, protobuf, avro; использовал Trino / Greenplum / ClickHouse; знаком с Kafka Connect. Что интересного у нас есть: ДМС с первого месяца работы в компании; IT-ипотека и ипотека для сотрудников экосистемы Сбербанка; предоставляем множество корпоративных бонусных программ; работаем удаленно. В Москве есть большой и красивый офис, поэтому если ты из этого города или будешь проездом — welcome; выдаем технику для работы на твой выбор; помогаем интеллектуально и физически развиваться (электронная библиотека, книжный клуб, футбол); уделяем большое внимание обучению сотрудников, поэтому в нашей knowledge base ты найдёшь много интересных курсов, книг и записей конференций, а также у нас есть выделенный бюджет на образование. А ещё: мы сами участвуем в конференциях, как спикеры; пишем статьи на хабр; проводим внутренние митапы и дискуссионные клубы; не боимся экспериментировать с новыми решениями и технологиями; заботимся о сотрудниках: в компании есть команда счастья и корпоративные психологи для разговоров по душам.Похожие вакансии