ome-projects/ome

[ENHANCEMENT] Integrate KEDA operator to enable advanced autoscaling in OME

Open

#155 ouverte le 9 juil. 2025

Voir sur GitHub
 (2 commentaires) (6 réactions) (1 assigné)Go (81 forks)github user discovery
featurehelp wanted

Métriques du dépôt

Stars
 (463 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

What would you like to be added?

Support for integrating the KEDA operator to enable advanced, custom metrics-based autoscaling for OME-managed LLM workloads.

Why is this needed?

Current OME lacks native support for autoscaling based on custom or external metrics. Integrating KEDA will allow OME to:

  • Dynamically scale model-serving workloads in response to real-time demand.
  • Optimize GPU and compute resource costs by scaling pods up and down automatically.
  • Support a wider range of scaling triggers beyond standard CPU/memory metrics (e.g., Prometheus queries, external event sources).
  • Improve latency and reliability for LLM inference during traffic spikes. This enhancement would provide greater flexibility and operational efficiency for enterprise users deploying LLMs at scale.

Completion requirements

  • Design doc (if significant feature)
  • API change
  • Docs update
  • Tests

Can you help us implement this enhancement?

  • Yes, I can contribute
  • No, but I'm available for testing
  • No

Guide contributeur

Direction de recherche
Étudiez la documentation de l'opérateur KEDA et l'intégration Kubernetes existante d'OME. Identifiez les métriques personnalisées nécessaires pour les charges de travail LLM et implémentez un Scaler KEDA ou déployez un KEDA ScaledObject. Assurez vous que la mise à l'échelle HPA fonctionne avec KEDA. Écrivez des tests et mettez à jour la documentation.
Stack technique
gokubernetes
Domaine
backendinfrastructure
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GoKubernetes
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
45