Обязанности:
Компания ОДСС https://odsscompany.ru в поиске Data Engineering Team Lead на проект: Крупное озеро данных (Data Lake) со сложными сценариями приёма и обработки данных из множества источников. Проект на старте — нет тяжёлого легаси, много пространства для технических экспериментов и выбора оптимальных решений.Стек: PostgreSQL, Python 3, Selenium, Dagster, DuckDB, GitLab, Telegram.Чем предстоит заниматься: — Руководить командой дата-инженеров (код-ревью, постановка задач, развитие) — проектировать конвейеры и инфраструктуру данны— автоматизировать обработку и преобразование данных— настраивать мониторинг и отладку конвейеров.— разрабатывать и поддерживать парсеры (PDF, doc, docx, xls, xlsx).Что мы ждем от тебя: — Опыт руководства командой (формального или неформального) — код-ревью, постановка задач— глубокое знание Python и основных библиотек для работы с данными (pandas, numpy и др.)— опыт парсинга/скрейпинга сложных слабоструктурированных документов (PDF, doc, docx, xls, xlsx)— опыт построения конвейров данных с использованием оркестраторов Dagster или других— понимание управления качеством данных (Data Quality)— понимание мониторинга и отладки конвейеров (логи, метрики, алерты)— знание форматов данных: JSON lines, Parquet, XML, CSV— понимание методов получения/поставки данных: S3, REST API, SOAP, RPC— PostgreSQL — уверенное знание - Git — ветвление, ревью, merge-стратегии— Английский язык — чтение технической документации. Условия: удаленный формат работы официальное оформление по ТК РФ обучение по рабочей необходимости компенсируем полностью или частично испытательный срок 3 месяцаПохожие вакансии