Data Engineer (Дата-инженер)

Обязанности: Чем предстоит заниматься:- Настройка и автоматизация сбора больших объёмов статистических данных из множества источников в одно хранилище.- Проверка корректности данных, отсеивание неполной или ошибочной информации.- Создание ETL-пайплайнов для загрузки и обработки информации.- Преобразование необработанных данных в формат, подходящий для последующей обработки и анализа.- Поиск новых источников данных, а также возможностей для улучшения сбора и обработки информации.- Автоматизация парсинга данных.- Создание и поддержание отчетности, перенос отчетности в Bi-систему.- Ведения технической документации. Требования: Что мы ожидаем (что необходимо знать):- Знание алгоритмов и структур данных, которые позволяют эффективно хранить, обрабатывать и извлекать данные.- Навыки работы с SQL, знание СУБД MS SQL, Postgres- Приветствуется знание языков программирования Python, Java/Scala.- Знание инструментов и фреймворков для работы с большими данными (Spark, Hadoop, Kafka).- Умение создавать и использовать пайплайны для обработки данных (Airflow, PySpark).- Навыки работы с распределенными системами.- Инструменты для работы с Big Data.- Работа с Excel на уровне продвинутого пользоваться, владение инструментами для анализа данных- Нахождение на территории РФ (в силу особенностей наших заказчиков мы не можем работать с людьми постоянно проживающими за границей) Условия: Что мы предлагаем:- работа над крупными проектами заказной разработки для государственных и около-государственных заказчиков- официальное оформление в штат (первые три месяца испытательный срок - срочный трудовой, после успешного прохождения - бессрочный трудовой)- гибкий график (вы можете работать в любое время при условии решения рабочих задач в рамках стандартной 40 часовой рабочей недели и появлении на обязательных встречах - дейли, раз в неделю общая планерка организации)- гибридный формат работы (частичное присутствие в офисе в определенные дни) или полностью удаленный формат. Постоянное рабочее место в офисе (5-10 минут от Рижского вокзала) тоже готовы предоставить- премирование по итогам реализации проектов согласно положению о премировании