Обязанности:
Компания Одно из крупнейших аккредитованных Бюро кредитных историй в России. Что мы делаем? Храним и обрабатываем кредитные истории более 100 миллионов россиян. Предоставляем банкам, МФО, страховым компаниям данные и аналитику на основе моделей машинного обучения (скоринг). Даем возможность физ. лицам ознакомиться со своей кредитной историей, узнать свой кредитный рейтинг и получить выгодные предодобренные предложения от банков. Команда Департамент платформы данных. Текущий состав команды: 2 DataOps инженера (1 mid, 1sen) + Team Lead (вакансия).В следующем году планируется увеличение команды DataOps инженеров до 4х. В составе департамента платформы данных есть еще несколько команд:— Data Engineer (команда загрузки данных и разработки витрин),— MLOps (внедрение инструментов автоматизации ЖЦ ML моделей),— SRE-инженеры (администрирование Hadoop + Greenplum). Основными стейкхолдерами являются команды разработки, DS и аналитиков. Стек Data и ML платформы — Hadoop, Greenplum, Ceph S3.— Airflow, Spark 3.2.1, Spark streaming, Kafka, SQL, Scala, Python.— Озеро данных Delta Lake (табличный формат данных).— CDC (Debezium).— Мониторинг: Prometheus, Grafana, ELK.— CI/CD: Bamboo, Bitbucket, Nexus.— Источники данных: MS SQL, MySQL, Postgres, Oracle, Redis, GP.— MLOps: Evedently AI, Internet ML, Feast, Jupyter, Git, DVC, MLFlow, ArgoCD, Label studio. Чем предстоит заниматься Управление командой из 2 (в перспективе 4) DataOps-экспертов (распределение и постановка задач, контроль их исполнения участие в найме, развитие сотрудников). Разработка CI/CD пайплайнов, оптимизация Spark jobs для:— Scala сервисов (доставляются jar артефакты) / Python окружений,— DAGs (поддержка процессов). Интеграция автотестов в пайплайн. Администрирование Airflow (2-я линия поддержки). Контроль всех этапов жизненного цикла ETL/ELT приложения. Настройка и управление мониторингом и логированием ETL/ELT приложений. Оптимизация производительности ETL/ELT приложений. RnD новых инструментов и технологий Big data и ML\AI технологий. Что ожидаем от тебя Опыт работы на позиции инженера (DataOps/ DevOps/ DE) от 3-4 лет. Опыт в роли Team Lead от года. Опыт администрирования Airflow. Опыт работы с экосистемой кластера Hadoop (на уровне начального администрирования). Опыт построения CI/CD spark jobs (Airflow). Что готовы предложить Фиксированный оклад от 350к на руки + годовой бонус (10% от годового дохода) – обсуждается на этапе с рекрутером. Оформление по ТК РФ. Компания входит в реестр аккредитованных ИТ компаний. Удаленный формат работы. При желании можно работать в офисе класса А (г. Москва, ст. м. Павелецкая, Шлюзовая набережная, 4). График работы 5/2, с 9 до 18 по Московскому времени. ДМС со стоматологией (с 1 рабочего дня + полис путешественника). Частичная компенсация фитнеса / личного обучения (лимит - 25 тыс. рублей в год). Дополнительные дни к ежегодному отпуску (всего 31 день в году). Современное оборудование (Lenovo ThinkPad на Windows). Как мы проводим собеседования 15-20 минут - общение с рекрутером (в аудио-формате). 60 минут - техническое интервью (google meet, видео встреча). 60 минут - интервью с руководителем направления разработки хранилищ данных (google meet, видео встреча). Проверка документов 1-2 дня (анкета в электронном виде). Оффер, обсуждение даты выхода на работу. Мы стараемся как можно быстрее принимать решения.Похожие вакансии