sgl-project/sglang

[Feature] Create benchmark and dataset usage scripts for embedding models

Open

#9.674 geöffnet am 27. Aug. 2025

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (6.216 Forks)auto 404
good first issuehelp wanted

Repository-Metriken

Stars
 (28.442 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 2T 1h) (1.000 gemergte PRs in 30 T)

Beschreibung

Look at the following for related tests, and the benchmark script should be similar to bench_serving Existing Tests:

models/test_embedding_models.py — Backend, 73s — PR: core embedding model implementations (covers srt/models/*_embedding.py, srt/entrypoints/openai/serving_embedding.py).

models/test_encoder_embedding_models.py — Backend, 100s — Post-merge: encoder-based embedding models (BERT/Roberta-style).

models/test_cross_encoder_models.py — Backend, 100s — Post-merge: cross-encoder/reranker models (related to embedding-based tasks but a different architecture).

openai_server/basic/test_serving_embedding.py — Frontend/unit, 10s — Run on all PRs: embedding serving layer (validates the serving path).

openai_server/basic/test_openai_embedding.py — Frontend, 141s — Frontend (PR/post-merge as listed): end-to-end OpenAI embedding API endpoints.

test_input_embeddings.py — Backend, 38s — Post-merge: tests the input embedding handling/path.

Contributor Guide

Research-Richtung
Überprüfen Sie das vorhandene `bench serving` Skript und die Embedding Testdateien (z.B. test embedding models.py), um das Muster für die Erstellung von Benchmark und Datensatz Nutzungsskripten zu verstehen. Konzentrieren Sie sich darauf, die Benchmark Struktur für Embedding Modelle zu replizieren.
Tech Stack
python
Domain
backendtesting
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Pythonpytest
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50