higress-group/higress

ai-load-balancer 考虑支持 SGLang 吗？ || ai-load-balancer Consider supporting SGLang?

Aperta

#3392 aperta il 26 gen 2026

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Go (1219 fork)github user discovery
help wanted

Metriche repository

Star
 (9036 stelle)
Metriche merge PR
 (Merge medio 7g 9h) (18 PR mergiate in 30 g)

Descrizione

Why do you need it?

目前看支持了 vLLM，想问下后续有考虑支持 SGLang、Triton TensorRT-LLM 等其它推理引擎吗？ https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-load-balancer/endpoint_metrics/backend/vllm

How could it be?

目前项目同时使用 vLLM 和 SGLang，若监控指标负载均衡能同时兼容两者，会更加便捷一些。

Why do you need it?

At present, vLLM is supported. I would like to ask if you will consider supporting other inference engines such as SGLang and Triton TensorRT-LLM in the future? https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-load-balancer/endpoint_metrics/backend/vllm

How could it be?

The current project uses both vLLM and SGLang. It would be more convenient if the monitoring indicator load balancing could be compatible with both.

Guida contributor

Direzione di ricerca
Studia l'implementazione esistente delle metriche backend vLLM nel plugin ai load balancer (percorso: plugins/wasm go/extensions/ai load balancer/endpoint metrics/backend/vllm) e comprendi come esporre metriche simili per SGLang. Indaga le API di monitoraggio di SGLang o gli endpoint delle metriche per progettare un backend compatibile.
Tech stack
go
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70