sgl-project/sglang

[CI] Print nightly evaluation results to GITHUB_STEP_SUMMARY

Fechada

#2.275 aberto em 30 de nov. de 2024

Ver no GitHubGuia do colaborador
 (2 comentários) (0 reação) (0 responsável)Python (6.216 forks)auto 404
good first issuehelp wanted

Métricas do repositório

Stars
 (28.442 estrelas)
Métricas de merge de PR
 (Mesclagem média 1d 13h) (1.000 fundiu PRs em 30d)

Description

We would like to to have a nicer summary page on the nightly evaluation results. The summary should include the scores and thresholds of all models in a markdown table.

An example run: https://github.com/sgl-project/sglang/actions/runs/12060420843

Steps

  1. Learn GITHUB_STEP_SUMMARY at https://github.blog/news-insights/product-news/supercharging-github-actions-with-job-summaries/
  2. Print a summary of the nightly eval to GITHUB_STEP_SUMMARY

See also an example https://github.com/sgl-project/sglang/pull/2274

Guia do colaborador

Direção de pesquisa
Revise o arquivo de fluxo de trabalho nightly eval.yml e aprenda a gerar uma tabela Markdown com pontuações e limites para GITHUB STEP SUMMARY.
Pilha de tecnologia
pythongithub actions
Domain
ci cd
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitHub Actions
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75