higress-group/higress

ai-load-balancer 考虑支持 SGLang 吗？ || ai-load-balancer Consider supporting SGLang?

Ouverte

#3 392 ouverte le 26 janv. 2026

Voir sur GitHub
 (3 commentaires) (0 réaction) (0 personne assignée)Go (1 219 forks)github user discovery
help wanted

Métriques du dépôt

Stars
 (9 036 étoiles)
Métriques de merge PR
 (Merge moyen 7j 9h) (18 PRs mergées en 30 j)

Description

Why do you need it?

目前看支持了 vLLM，想问下后续有考虑支持 SGLang、Triton TensorRT-LLM 等其它推理引擎吗？ https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-load-balancer/endpoint_metrics/backend/vllm

How could it be?

目前项目同时使用 vLLM 和 SGLang，若监控指标负载均衡能同时兼容两者，会更加便捷一些。

Why do you need it?

At present, vLLM is supported. I would like to ask if you will consider supporting other inference engines such as SGLang and Triton TensorRT-LLM in the future? https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-load-balancer/endpoint_metrics/backend/vllm

How could it be?

The current project uses both vLLM and SGLang. It would be more convenient if the monitoring indicator load balancing could be compatible with both.

Guide contributeur

Direction de recherche
Étudiez l'implémentation existante des métriques backend vLLM dans le plugin ai load balancer (chemin : plugins/wasm go/extensions/ai load balancer/endpoint metrics/backend/vllm) et comprenez comment exposer des métriques similaires pour SGLang. Examinez les API de surveillance ou les points de terminaison de métriques de SGLang pour concevoir un backend compatible.
Stack technique
go
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70