Обязанности:
Привет! Мы – компания «Градиент». Мы развиваем корпоративную платформу данных, на которой строится аналитика и отчётность компании. Сейчас ищем Инженера интеграций, который будет отвечать за надёжную доставку данных из множества источников — API, файлов и баз данных — и обеспечивать их качество и доступность для бизнеса. В этой роли ты будешь влиять на надёжность данных, которыми пользуется вся компания, работать с современным стеком и решать содержательные инженерные задачи — от проектирования потоков до их промышленной эксплуатации. Чем тебе предстоит заниматься: Проектирование и разработка ETL/ELT-потоков для API, файловых источников и баз данных Создание и сопровождение DAG в Apache Airflow Организация ежедневных пакетных загрузок больших объёмов данных Разработка Python-коннекторов и обработчиков: тайм-ауты, повторы, пагинация, обработка ошибок Обеспечение надёжности пайплайнов: идемпотентность, корректная дозагрузка, повторный запуск, восстановление после сбоев Работа с Microsoft SQL Server и PostgreSQL: запросы, загрузки, индексы, транзакции, блокировки, планы выполнения, обслуживание Контроль качества данных: полнота, свежесть, уникальность, согласованность Настройка мониторинга, уведомлений, журналирования и диагностики потоков Поддержка конфигурации, доступов, резервирования и восстановления Airflow и СУБД Взаимодействие с владельцами данных, аналитиками, разработчиками и инфраструктурной командой Что мы от тебя ждем: Практического опыта разработки и сопровождения интеграционных потоков данных Уверенного владения Python для промышленной обработки данных и интеграций Сильного SQL, опыта работы с Microsoft SQL Server и PostgreSQL Опыта работы с Apache Airflow: DAG, зависимости, retries, backfill, расписания, pools, ограничение параллелизма, логи, диагностика Понимания ETL/ELT: инкрементальные загрузки, checkpoint, upsert, транзакции, идемпотентность Опыта работы с большими объёмами данных: порционная обработка, bulk-загрузка, контроль памяти, диска и времени выполнения Практики интеграций с API и файловыми источниками Понимания принципов мониторинга качества и надёжности потоков Опыта работы с Git и в командном процессе разработки Ответственности за результат, внимательности к данным, привычки разбираться в первопричинах сбоев Что мы предлагаем: Комфортный офис в Бизнес-центре "Алкон", расположенном рядом с метро Сокол График работы с 09:00 до 18:00 для поддержания баланса между работой и личной жизнью, а гибридный формат и ДМС ждет тебя после успешного прохождения испытательного срока Испытательный срок длительностью 3 месяца для взаимной адаптации Скидки на всю нашу крутую продукцию! Готов строить надёжные потоки данных вместе с нами? Ждём твой отклик.Похожие вакансии