other

Senior Data Engineer

12 ноября 2024

З/П не указана

Город: Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

Rusprofile

Тип занятости: Удаленная работа

Требуемый опыт: Опыт от 3 лет

Обязанности:

О нас Мы работаем в сегменте RegTech. Это новый рынок, активно развивающийся во всем мире. Большинство игроков — SaaS сервисы, позволяющие компаниям выполнять требования регулирующих органов, анализировать партнеров и клиентов, наблюдать и анализировать конкурентов, совершать M&A сделки, отслеживать связи между компаниями и многое другое. Это быстро развивающаяся отрасль на пересечении финансов, аналитики, технологий обработки данных, включая AI, нормативных и регуляторных требований. Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятков тысяч платящих клиентов, от малого бизнеса до крупных корпораций. Наша миссия — помогать бизнесам в их развитии, делая данные простыми и полезными для принятия решений. За последние 3 года мы выросли по выручке в 5 раз, в 10 раз по базе клиентов и мы не планируем останавливаться. Мы больше не стартап, но и не корпорация. Мы принимаем решения быстро, у нас нет сложной иерархии и бюрократии. Мы постоянно развиваемся и адаптируемся, чтобы иметь возможность создавать действительно ценные продукты для наших клиентов и развивать бизнес. Как построена работа Мы выстроили инженерную культуру, где ценится качественный код и техническая экспертиза команды. Разработчики активно участвуют в проектировании решений, а время на работу с техническим долгом и рефакторинг — это часть нашего процесса, а не "когда-нибудь потом". У нас опытная команда, готовая делиться знаниями, и мы открыты к новым технологиям, если они решают реальные проблемы. Процессы у нас построены на принципах agile и постоянно оптимизируются под потребности команды. Работаем итерациями, проводим короткие и полезные синки, уделяем внимание проектированию и code review. При этом у нас нет лишней бюрократии — мы берем лучшее из гибких подходов и адаптируем процессы так, чтобы они помогали команде, а не создавали препятствия. О команде Команда Rusprofile — это 40+ человек: основатели Илья и Дима, которые когда-то вместе заканчивали факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, основатели все также управляют бизнесом; наша команда разработки состоит из 19 человек: двух инженеров по инфраструктуре, 13 разработчиков, а также 4 тестировщиков; бизнес-ориентированная команда продукта: продакт-менеджеры, аналитики и дизайнеры продукта. Цель команды — создать надежную и масштабируемую инфраструктуру данных, которая поддерживает бизнес-решения и аналитические задачи компании. Ты будешь работать в составе инженерной команды вместе с разработчиками и DevOps. Про наш стэк: ClickHouse, Airflow, Kafka, Superset, Mysql, Python, PHP, Docker, Git. Что ты будешь делать Твоим руководителем будет СTO, твоя команда — разработчики и DevOps, а основным стейкхолдерами — продуктовый аналитик и продуктовая команда. Твой фокус будет на улучшении существующей инфраструктуры данных для поддержки растущих потребностей бизнеса: 1. Необходимо оптимизировать существующие процессы обработки данных, разрабатывать новые эффективные пайплайны и обеспечить надежность и доступность данных для аналитических нужд компании; 2. Также предстоит работать над внедрением современных практик обеспечения качества данных; 3. Вся наша инфраструктура данных сейчас работает на bare metal и требует от инженерной команды внимания и времени на сопровождение. Мы планируем переезд всего дата стека на управляемую (managed) инфраструктуру в облаке. Твои задачи будут включать: Погружение в текущую инфраструктуру данных: Изучение существующего хранилища данных, структуры и настройки (ClickHouse, MySQL), пайплайнов данных и инструментов (Airflow, Superset, Kafka); Погружение в текущие процессы и практики команды. Планирование и определение приоритетов: Выявление возможностей для быстрых оптимизаций в текущей инфраструктуре и процессах; Разработку плана тактических улучшений текущей инфраструктуры данных на ближайшие 3-4 месяца, совместно с CTO; Определение топ приоритетных задач, которые должны быть обязательно закрыты в течении испытательного срока. Перенос инфраструктуры данных на IaC: Поиск, выбор внешнего партнера (вероятно flant или express42) и запуск пилотного проекта по переходу на IaC в первые 3 месяца; Планирование и начало реализации полного перехода с bare metal на IaC в течение полугода. Взятие на себя ответственности за инфраструктуру данных: Стать владельцем текущего стека данных и процессов; Обеспечение поддержки и стабильной работы существующей инфраструктуры. Сотрудничество с командами: Налаживание эффективного взаимодействия с продуктовой командой, разработчиками и командой инфраструктуры; Обеспечение коммуникации и совместной работы над проектами по развитию инфраструктуры данных. Как понять что ты подойдешь Опыт работы от 3 лет в роли Data Engineer; Глубокое знание SQL и понимание методик оптимизации запросов; Уверенное владение Python; Опыт работы с Airflow, Superset, ClickHouse; Понимание устройства реляционных и нереляционных баз данных; Умение разрабатывать ETL/ELT пайплайны на базе Airflow; Навыки мониторинга и отладки пайплайнов обработки данных; Умение проектировать архитектуру данных в том числе индексы, партиционирование, шардирование; Понимание принципов data quality и data lineage; Опыт работы с Docker и контейнеризацией; Знание Linux на уровне базового администрирования; Опыт работы с Git; Умение самостоятельно развертывать и поддерживать сервисы обработки данных; Опыт настройки и оптимизации производительности СУБД; Базовые навыки практик DevOps; Опыт работы с CI/CD. Мы предлагаем Свободу действий в принятии решений и высокий уровень ответственности - у тебя будет возможность влиять на продукт и строить процессы так, чтобы они помогали бизнесу достигать своих целей; Интересный продукт в одном из самых быстрорастущих сегментов рынка во всем мире. У нас большие стратегические планы по развитию стека обработки данных и сейчас очень ранний этап работы с этими планами, есть возможность сразу сделать хорошо почти с нуля; Основной бизнес компании - данные. Лучшего применения своим знаниям трудно представить, так как от эффективности и скорости работы с данными напрямую зависит успех; Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу); Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ; Любую технику для работы; ДМС, 7 Day Off, оплату обучения, семинаров и конференций.

Имя не указано

Откликнуться
Разместить Резюме
Пожаловаться ID: 124670735

Похожие вакансии

Senior Data Engineer

До 500 000 руб.

Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

Точка

Senior Data engineer

От 180 000 руб.

Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

Heaad

Senior Data Engineer

Договорная

Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

HuntIT

Senior Data Engineer

От 400 000 до 500 000 руб.

Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

HR Prime

Data Engineer Senior

От 250 000 до 300 000 руб.

Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

WMT

Senior Data Engineer

Договорная

Москва. Станции метро: Деловой центр, Деловой центр (Выставочная)

НефтеТрансСервис