Обязанности:
Мы ищем Data Engineer, который поможет построить data-инфраструктуру с нуля: наладить ETL/ELT-процессы, организовать регулярную загрузку данных из Oracle и PostgreSQL, подготовить аналитические витрины для бизнеса и заложить основу для дальнейшего развития BI и ML-направлений. Первоочередные задачи: Разобраться в текущих источниках данных: Oracle, PostgreSQL, существующие таблицы, связи и бизнес-сущности; Совместно с DBA определить безопасные способы регулярной выгрузки данных из production-баз; Спроектировать и внедрить первые ETL/ELT-процессы; Настроить регулярную загрузку данных из Oracle и PostgreSQL; Построить staging-слой и первые аналитические витрины; Подготовить данные для отчетности, BI-дашбордов и бизнес-аналитики; Помогать бизнесу формулировать метрики, KPI и требования к данным; Настроить базовые проверки качества данных: полнота, дубликаты, актуальность, сверки между источниками и витринами; Документировать источники данных, пайплайны, таблицы и бизнес-логику; Постепенно заложить основу для будущих ML-задач: подготовка датасетов, feature tables и регулярное обновление данных. Мы ищем человека, который: Имеет опыт работы Data Engineer / ETL Developer / DWH Developer / BI Data Engineer от 3 лет; Уверенно знает SQL и имеет опыт работы с реляционными базами данных; Имеет опыт работы с PostgreSQL; Имеет опыт с Oracle (будет большим плюсом); Уверенно знает Python для автоматизации, загрузки и обработки данных; Понимает ETL/ELT-процессы и принципы построения DWH / ODS / data marts; Имеет опыт создания аналитических витрин; Понимает инкрементальные загрузки и безопасное извлечение данных из production-баз; Умеет работать с большими таблицами без лишней нагрузки на операционные базы; Имеет опыт работы с Git; Имеет базовый опыт с Linux; Умеет взаимодействовать с DBA, аналитиками, разработчиками и бизнес-заказчиками; Готов работать в условиях, где data-инфраструктура только формируется. Будет плюсом Опыт с Airflow, Prefect, Dagster или другими инструментами оркестрации; Опыт с dbt; Опыт с BI-инструментами: Power BI, Tableau, Metabase, Superset, Looker; Опыт построения DWH, ODS или аналитических витрин с нуля; Опыт внедрения data quality-проверок; Опыт с Docker и базовым CI/CD; Понимание CDC, логической репликации PostgreSQL, Debezium, Oracle GoldenGate или аналогичных подходов; Опыт подготовки данных для ML-моделей; Базовое понимание ML: датасеты, признаки, обучение моделей, оценка качества; Опыт с pandas, scikit-learn, XGBoost / LightGBM. Мы предлагаем: Возможен вариант работы: удаленно (в пределах РФ)/ частично удаленно/ офис Компенсацию за переезд также из регионов в Москву Конкурентную заработную плату, квартальные премии по результатам работы.Похожие вакансии
Договорная
Москва. Станции метро: Автозаводская, ЗИЛ
Бренд одежды, обуви и аксессуаров LIMÉ