ML Engineer / Старший аналитик данных

Обязанности: Разработка и внедрение решений AutoML: Создание и оптимизация алгоритмов автоматизации процессов машинного обучения с использованием Scala, Spark и TransmogrifAI. Интеграция с хранилищами данных: Разработка и поддержка взаимодействия системы с key-value хранилищами данных, S3 (Ozone или MinIO), для эффективного хранения и доступа к данным. Оптимизация производительности: Обеспечение высокопроизводительной обработки данных, оптимизация существующих решений для работы с большими объемами данных. Работа с фреймворками ML: Разработка и поддержка пайплайнов машинного обучения, интеграция различных фреймворков и инструментов для повышения качества и скорости обучения моделей. Валидация и тестирование моделей: Участие в процессе тестирования и валидации моделей, обеспечение высокого уровня их качества и точности. Поддержка и развитие системы: Поддержка существующего кода, рефакторинг и развитие системы для улучшения функционала и производительности. Требования: Опыт работы: 3+ года в разработке с использованием языка программирования Scala. Технические навыки: Глубокие знания и опыт работы с Apache Spark, включая Spark SQL, Spark MLlib и Spark Streaming. Опыт работы с TransmogrifAI для автоматизации процессов машинного обучения. Опыт работы с объектными хранилищами данных (Ozone, MinIO). Понимание основ машинного обучения, опыт работы с фреймворками ML. Опыт разработки распределенных систем и параллельной обработки данных. Опыт работы с контейнеризацией (Docker, Kubernetes) будет преимуществом. Аналитическое мышление: Способность анализировать сложные задачи и разрабатывать оптимальные решения. Опыт работы с большими данными: Умение работать с большими объемами данных, понимание принципов работы с распределенными системами. Знание английского языка: Возможность работать с технической документацией и командой на английском языке. Будет плюсом: Опыт работы с другими библиотеками для автоматизации ML (H2O, AutoKeras). Знание инструментов для CI/CD (например, Jenkins, GitLab CI). Опыт работы с системами оркестрации данных (например, Apache Airflow). ​​​​​​