sgl-project/sglang

[Feature] Create benchmark and dataset usage scripts for embedding models

Open

#9.674 aberto em 27 de ago. de 2025

Ver no GitHub
 (6 comments) (0 reactions) (0 assignees)Python (6.216 forks)auto 404
good first issuehelp wanted

Métricas do repositório

Stars
 (28.442 stars)
Métricas de merge de PR
 (Mesclagem média 2d 1h) (1.000 fundiu PRs em 30d)

Description

Look at the following for related tests, and the benchmark script should be similar to bench_serving Existing Tests:

models/test_embedding_models.py — Backend, 73s — PR: core embedding model implementations (covers srt/models/*_embedding.py, srt/entrypoints/openai/serving_embedding.py).

models/test_encoder_embedding_models.py — Backend, 100s — Post-merge: encoder-based embedding models (BERT/Roberta-style).

models/test_cross_encoder_models.py — Backend, 100s — Post-merge: cross-encoder/reranker models (related to embedding-based tasks but a different architecture).

openai_server/basic/test_serving_embedding.py — Frontend/unit, 10s — Run on all PRs: embedding serving layer (validates the serving path).

openai_server/basic/test_openai_embedding.py — Frontend, 141s — Frontend (PR/post-merge as listed): end-to-end OpenAI embedding API endpoints.

test_input_embeddings.py — Backend, 38s — Post-merge: tests the input embedding handling/path.

Guia do colaborador

Direção de pesquisa
Revise o script `bench serving` existente e os arquivos de teste de embedding (ex.: test embedding models.py) para entender o padrão de criação de scripts de benchmark e uso de conjuntos de dados. Concentre se em replicar a estrutura de benchmark para modelos de embedding.
Pilha de tecnologia
python
Domain
backendtesting
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonpytest
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50