sgl-project/sglang

[CI] Print nightly evaluation results to GITHUB_STEP_SUMMARY

クローズ

#2,275 opened on 2024/11/30

GitHub で見るコントリビューターガイド
 (2 件のコメント) (0 件のリアクション) (0 人の担当者)Python (6,216 件のフォーク)auto 404
good first issuehelp wanted

Repository metrics

Stars
 (28,442 個のスター)
PR merge metrics
 (平均マージ 2d 1h) (30d で 1,000 merged PRs)

説明

We would like to to have a nicer summary page on the nightly evaluation results. The summary should include the scores and thresholds of all models in a markdown table.

An example run: https://github.com/sgl-project/sglang/actions/runs/12060420843

Steps

  1. Learn GITHUB_STEP_SUMMARY at https://github.blog/news-insights/product-news/supercharging-github-actions-with-job-summaries/
  2. Print a summary of the nightly eval to GITHUB_STEP_SUMMARY

See also an example https://github.com/sgl-project/sglang/pull/2274

コントリビューターガイド

調査方針
nightly eval.yml ワークフローファイルを確認し、スコアとしきい値を含む Markdown テーブルを GITHUB STEP SUMMARY に出力する方法を学びます。
技術スタック
pythongithub actions
領域
ci cd
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
GitHub Actions
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
75