ome-projects/ome

[ENHANCEMENT] Integrate KEDA operator to enable advanced autoscaling in OME

Open

#155 aberto em 9 de jul. de 2025

Ver no GitHub
 (2 comments) (6 reactions) (1 assignee)Go (81 forks)github user discovery
featurehelp wanted

Métricas do repositório

Stars
 (463 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

What would you like to be added?

Support for integrating the KEDA operator to enable advanced, custom metrics-based autoscaling for OME-managed LLM workloads.

Why is this needed?

Current OME lacks native support for autoscaling based on custom or external metrics. Integrating KEDA will allow OME to:

  • Dynamically scale model-serving workloads in response to real-time demand.
  • Optimize GPU and compute resource costs by scaling pods up and down automatically.
  • Support a wider range of scaling triggers beyond standard CPU/memory metrics (e.g., Prometheus queries, external event sources).
  • Improve latency and reliability for LLM inference during traffic spikes. This enhancement would provide greater flexibility and operational efficiency for enterprise users deploying LLMs at scale.

Completion requirements

  • Design doc (if significant feature)
  • API change
  • Docs update
  • Tests

Can you help us implement this enhancement?

  • Yes, I can contribute
  • No, but I'm available for testing
  • No

Guia do colaborador

Direção de pesquisa
Estude a documentação do operador KEDA e a integração Kubernetes existente do OME. Identifique as métricas personalizadas necessárias para cargas de trabalho LLM e implemente um KEDA Scaler ou implante um KEDA ScaledObject. Garanta que o escalonamento HPA funcione em conjunto com o KEDA. Escreva testes e atualize a documentação.
Pilha de tecnologia
gokubernetes
Domain
backendinfrastructure
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GoKubernetes
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45