Обязанности:
Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist. Кого мы ищем? Команда центра Big Data в поиске Data Engineer на продукт Golden Record Продукт Golden Record – мастер-система по управлению клиентскими данными в экосистеме МТС. Мы собираем все имеющиеся в экосистеме данные о клиенте (их десятки миллионов), очищаем от мусора, убираем дубли, проверяем, выбираем лучшие данные, добавляем связи и даём эти данные бизнесу для экосистемной аналитики, повышения эффективности маркетинговых компаний и лучшего обслуживания клиентов Стек: Python, Pyspark, Hive, Hadoop, Gitlab, Docker, k8s, Cassandra, Liquibase Обязательно: Знание и опыт работы с Python Знание и опыт работы с SQL Опыт работы с Spark, Hive, Hadoop Знание PostgeSQL Знание Git Желателен опыт работы с Kafka Будет плюсом опыт с Cassandra Что предстоит делать? Процессить данные, собирать витрины с помощью pyspark на хадуп-кластере (постановка – от аналитиков) Выстраивать регламенты обработки данных (Airflow) Настраивать ETL процессы загрузки данных через стриминги (kafka) Решать проблемы с качеством данных: матчинг сущностей, дедупликации, нормализации Осуществлять работы по повышению отказоустойчивости и скорости работы дата части сервисов Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор. Есть ли обучение? Локальные конференции, митапы Корпоративный университет МТС и масштабная виртуальная библиотека А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы Какой график? Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой. Сколько этапов при отборе? Не более трех: HR + первое тех. интервью с лидом направления Тестовое задание/второе интервью - по необходимости Собеседование с PO и командой, выбор кандидатом проектаПохожие вакансии
Middle Python developer на продукт Data Quality (Big Data)
Договорная
Москва. Станции метро: Технопарк
МТС