Обязанности:
Что нужно будет делать: Разработка, настройка и поддержка пайплайнов обработки данных; Создание и оптимизация ETL- и ELT-процессов для эффективной работы с данными; Разработка скриптов на Python для обработки и анализа данных; Работа с различными системами хранения данных, включая PostgreSQL, ClickHouse и S3-совместимые хранилища; Написание и оптимизация SQL-запросов для извлечения и трансформации данных; Мониторинг выполнения задач, обработка ошибок и обеспечение надежности пайплайнов; Взаимодействие с командой для интеграции data-решений в общую архитектуру проекта. Для нас важно: Опыт разработки на Python версии 3.11 и выше с использованием библиотек для работы с данными, таких как Pandas; Практический опыт работы с Apache Airflow версии 2.10 и выше для оркестрации пайплайнов; Уверенные знания SQL и опыт работы с реляционными базами данных, в частности PostgreSQL; Опыт работы с системами хранения больших данных, например ClickHouse и S3-совместимые хранилища; Понимание алгоритмов, структур данных и принципов построения ETL-процессов; Аналитический склад ума, внимательность к деталям и ответственность; Умение работать в команде и открытость к изучению новых технологий.Похожие вакансии
От 44 000 до 44 000 руб.
Тюмень
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "АКТИВ ГРУПП"
Инженер отдела обработки данных дистанционного зондирования земли
От 32 000 до 33 000 руб.
Тюмень
ТЮМЕНСКИЙ ФИЛИАЛ ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО БЮДЖЕТНОГО УЧРЕЖДЕНИЯ "РОСЛЕСИНФОРГ"
Главный специалист по интерпретации данных внутритрубной диагностики
Договорная
Тюмень
Газпром нефть