Обязанности:
Мы развиваем ML-платформу прогнозирования спроса для федеральной розничной сети. Работаем с большими объемами данных: отдельные расчеты обрабатывают терабайты, а общий объем данных платформы измеряется петабайтами. Расчетный контур построен на Apache Spark и Kubernetes, оркестрация на Apache Airflow, данные храним в S3 и Delta Lake. Для разработки и автоматизации используем Python и GitLab CI/CD. Ищем инженера, которому интересно развивать ML-платформу, автоматизировать процессы и решать задачи на стыке разработки и инфраструктуры. У нас можно влиять на технические решения, повышать надежность платформы и развивать внутренние инструменты. Чем ты будешь заниматься развивать и автоматизировать процессы запуска и эксплуатации приложений в Kubernetes диагностировать сбои, разбираться в проблемах с ресурсами, конфигурациями и производительностью приложений развивать CI/CD, автоматизировать развертывание и поставку изменений между DEV, UAT и PROD разрабатывать и развивать внутренние инструменты ML-платформы на Python улучшать мониторинг, логирование и диагностику, повышать стабильность и надежность расчетного контура участвовать в развитии расчетных пайплайнов на Spark и Airflow, интеграции новых ML-алгоритмов и изменений от Data Science в production Мы ожидаем уверенное знание Python и опыт промышленной разработки практический опыт работы с Kubernetes и Docker, включая развертывание и диагностику приложений уверенное владение Linux, понимание сетевого взаимодействия и управления ресурсами опыт работы с CI/CD и автоматизации сборки и развертывания приложений понимание принципов работы распределенных систем опыт диагностики и устранения проблем в production-системах Будет плюсом опыт работы с Apache Spark / PySpark, особенно в Kubernetes опыт работы с Apache Airflow или другими системами оркестрации опыт работы с Helm, Terraform, Argo CD или аналогичными инструментами опыт работы с S3, Delta Lake и SQL опыт работы с Grafana, Prometheus, Loki и другими инструментами мониторинга и логирования опыт разработки и эксплуатации промышленных ML-системПохожие вакансии