Обязанности:
Несколько лет назад YCLIENTS был амбициозным стартапом.Теперь мы – лидер рынка онлайн-записи и автоматизации бизнеса, трендсеттер в своем сегменте. Уже шесть лет количество наших клиентов растет в геометрической прогрессии. Мы – команда, которая меняет то, как предприниматели управляют бизнесом.Присоединяйся к лидеру рынка онлайн-записи – и помоги нам стать не просто платформой, а интеллектуальной операционной системой для бизнеса. Сейчас нам нужен Senior Data Engineer, который закладывает основу дата-платформы с полной свободой в реализации ingestion, CDC и слоёв, понимает, как сделать так, чтобы метрики считались одинаково, витрины обновлялись предсказуемо, а изменения вносились быстро и бесшовно. Нам нужно чтобы ты: Подключил OLTP- и API-источники и настроил инкрементальные загрузки данных в Iceberg (S3); Провёл proof of concept для CDC (с использованием Debezium и Kafka → lakehouse) и выбрал оптимальный паттерн доставки данных в S3/Iceberg; Реализовал трансформации по слоям Bronze → Silver → Gold через dbt на Spark и выпустил первые ключевые витрины; определил стратегию serving: где использовать Trino для ad-hoc-запросов, а где — ClickHouse для BI, и решил, какие данные читать напрямую, а какие материализовать; Автоматизировал backfill’ы и перезапуски, а также настроил базовый мониторинг свежести данных и ошибок в Airflow; Взял ownership над ingestion, lakehouse и data pipelines (Airflow/Spark/dbt); Сделал так, чтобы платформа работала стабильно и максимально автоматизировано; Требования: Сильный SQL и опыт витрин/инкрементов Python для ETL/интеграций Опыт со Spark (PySpark) и понимание оптимизации вычислений Airflow в проде (зависимости/ретраи/backfill, datasets) Понимание Iceberg/Delta/Hudi (schema evolution/maintenance)Будет плюсом: Kafka/Debezium/CDC, Trino/Presto, ClickHouse perf, OpenMetadataЧто мы предлагаем: Прозрачная и конкурентная ЗП, трудоустройство по ТК РФ; Гибридный или Удаленный формат работы; Техника для работы; ДМС после испытательного срока; Поддержка в трудных ситуациях – мы не просто компания, мы – сообщество; Корпоративные скидки BestBenefits – спорт, путешествия, рестораны, курсы, даже косметика; Команда, где все на “ты” – нет дресс-кода, нет иерархии, есть доверие.Похожие вакансии
Договорная
Москва. Станции метро: Менделеевская, Достоевская, Новослободская
СБЕР
Договорная
Москва. Станции метро: Менделеевская, Достоевская, Новослободская
СБЕР
Договорная
Москва. Станции метро: Менделеевская, Достоевская, Новослободская
СБЕР
Договорная
Москва. Станции метро: Менделеевская, Достоевская, Новослободская
USETECH
Договорная
Москва. Станции метро: Менделеевская, Достоевская, Новослободская
SkillStaff
Договорная
Москва. Станции метро: Менделеевская, Достоевская, Новослободская
СБЕР