Data Engineer (ETL)

Обязанности: 1. Разработка, построение, тестирование и поддержка архитектур данных: Дата-инженер отвечает за создание и поддержку оптимальных архитектур данных, которые обеспечивают эффективное хранение, обработку и доступ к большим объемам данных.2. Сбор и интеграция данных из различных источников: Дата-инженер должен уметь собирать данные из разнообразных источников, таких как базы данных, файловые системы, внешние сервисы и API, и интегрировать их в централизованное хранилище данных.3. Очистка и подготовка данных: Очистка неструктурированных и разрозненных данных, их преобразование в структурированный и читаемый формат для последующего анализа.4. Автоматизация процессов сбора, обработки и анализа данных: Разработка и поддержка автоматических процедур для регулярного обновления данных и обработки потоков данных в реальном времени.5. Мониторинг, тестирование и обеспечение производительности данных: Постоянный мониторинг систем и архитектур данных на предмет ошибок и узких мест, а также выполнение необходимых оптимизаций.6. Сотрудничество с аналитиками данных и другими заинтересованными сторонами: Взаимодействие с командами аналитиков, бизнес-аналитиков и разработчиков для обеспечения доступа к данным, их понимания и использования.7. Соблюдение политик и нормативов в области обработки данных: Убедиться, что все процессы и системы соответствуют требованиям в отношении безопасности данных, конфиденциальности и правовых норм. Требования: 1. Опыт работы от 1,5 лет: Опыт работы в области данных, включая проектирование, построение, оптимизацию и поддержку архитектур данных. Опыт работы с базами данных и большими объемами данных.2. Знание языков программирования: Профессиональное владение языками программирования, такими как Python, Scala, Java, а также SQL для обработки и анализа данных.3. Понимание инструментов ETL (Extract, Transform, Load): Опыт работы с инструментами ETL для извлечения, трансформации и загрузки данных из различных источников.3. Знание систем управления базами данных: Глубокие знания SQL и NoSQL баз данных, включая Greenplum, ClickHouse, MongoDB, Cassandra, PostgreSQL, MySQL и другие.4. Опыт с большими данными и распределенными системами: Опыт работы с Hadoop, Spark, Kafka и другими технологиями обработки больших данных.5. Знание облачных платформ: Опыт работы с облачными сервисами, такими как AWS, Yandex, VK Cloud, включая их сервисы для работы с данными (например, S3, EC2, RDS, BigQuery).6. Навыки работы с данными: Понимание методов очистки и предобработки данных, знание инструментов для визуализации данных. Знание основных принципов и методик построения DWH, DataLake7. Навыки межличностного общения: Способность эффективно общаться как с техническими, так и с не техническими коллегами, умение работать в команде.8. Аналитические навыки: Способность анализировать и интерпретировать сложные наборы данных, выявлять тенденции и взаимосвязи. Способность быстро переключаться на новые задачи. Условия: График работы- пятидневка ( с 9.00 до 18.00 /10.00 до 19.00/ 11.00 до 20.00)‚ Место работы – по договоренности один из двух вариантов: гибрид (удаленно + офис); офис - г. Москва, 5-10 минут пешком от м. Алексеевская. Варианта полной удаленки НЕТ! Уровень заработной платы - по результатам собеседования и договоренности (зависит от имеющихся знаний и опыта работы).