sgl-project/sglang

[Feature] Create benchmark and dataset usage scripts for embedding models

Open

#9 674 ouverte le 27 août 2025

Voir sur GitHub
 (6 commentaires) (0 réactions) (0 assignés)Python (6 216 forks)auto 404
good first issuehelp wanted

Métriques du dépôt

Stars
 (28 442 stars)
Métriques de merge PR
 (Merge moyen 2j 1h) (1 000 PRs mergées en 30 j)

Description

Look at the following for related tests, and the benchmark script should be similar to bench_serving Existing Tests:

models/test_embedding_models.py — Backend, 73s — PR: core embedding model implementations (covers srt/models/*_embedding.py, srt/entrypoints/openai/serving_embedding.py).

models/test_encoder_embedding_models.py — Backend, 100s — Post-merge: encoder-based embedding models (BERT/Roberta-style).

models/test_cross_encoder_models.py — Backend, 100s — Post-merge: cross-encoder/reranker models (related to embedding-based tasks but a different architecture).

openai_server/basic/test_serving_embedding.py — Frontend/unit, 10s — Run on all PRs: embedding serving layer (validates the serving path).

openai_server/basic/test_openai_embedding.py — Frontend, 141s — Frontend (PR/post-merge as listed): end-to-end OpenAI embedding API endpoints.

test_input_embeddings.py — Backend, 38s — Post-merge: tests the input embedding handling/path.

Guide contributeur

Direction de recherche
Examinez le script `bench serving` existant et les fichiers de test d'embedding (par exemple, test embedding models.py) pour comprendre le modèle de création de scripts de benchmark et d'utilisation de jeux de données. Concentrez vous sur la replication de la structure de benchmark pour les modèles d'embedding.
Stack technique
python
Domaine
backendtesting
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Pythonpytest
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50