sgl-project/sglang

[Feature] Create benchmark and dataset usage scripts for embedding models

Open

#9674 aperta il 27 ago 2025

Vedi su GitHub
 (6 commenti) (0 reazioni) (0 assegnatari)Python (6216 fork)auto 404
good first issuehelp wanted

Metriche repository

Star
 (28.442 star)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Look at the following for related tests, and the benchmark script should be similar to bench_serving Existing Tests:

models/test_embedding_models.py — Backend, 73s — PR: core embedding model implementations (covers srt/models/*_embedding.py, srt/entrypoints/openai/serving_embedding.py).

models/test_encoder_embedding_models.py — Backend, 100s — Post-merge: encoder-based embedding models (BERT/Roberta-style).

models/test_cross_encoder_models.py — Backend, 100s — Post-merge: cross-encoder/reranker models (related to embedding-based tasks but a different architecture).

openai_server/basic/test_serving_embedding.py — Frontend/unit, 10s — Run on all PRs: embedding serving layer (validates the serving path).

openai_server/basic/test_openai_embedding.py — Frontend, 141s — Frontend (PR/post-merge as listed): end-to-end OpenAI embedding API endpoints.

test_input_embeddings.py — Backend, 38s — Post-merge: tests the input embedding handling/path.

Guida contributor

Direzione di ricerca
Esamina lo script `bench serving` esistente e i file di test per embedding (es. test embedding models.py) per comprendere il modello per creare script di benchmark e utilizzo del dataset. Concentrati sulla replica della struttura di benchmark per i modelli di embedding.
Tech stack
python
Dominio
backendtesting
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonpytest
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50