sgl-project/sglang

[CI] Print nightly evaluation results to GITHUB_STEP_SUMMARY

Chiusa

#2275 aperta il 30 nov 2024

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)Python (6216 fork)auto 404
good first issuehelp wanted

Metriche repository

Star
 (28.442 stelle)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

We would like to to have a nicer summary page on the nightly evaluation results. The summary should include the scores and thresholds of all models in a markdown table.

An example run: https://github.com/sgl-project/sglang/actions/runs/12060420843

Steps

  1. Learn GITHUB_STEP_SUMMARY at https://github.blog/news-insights/product-news/supercharging-github-actions-with-job-summaries/
  2. Print a summary of the nightly eval to GITHUB_STEP_SUMMARY

See also an example https://github.com/sgl-project/sglang/pull/2274

Guida contributor

Direzione di ricerca
Esamina il file del flusso di lavoro nightly eval.yml e impara come produrre una tabella Markdown con punteggi e soglie in GITHUB STEP SUMMARY.
Tech stack
pythongithub actions
Dominio
ci cd
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitHub Actions
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75