Feature Request: Automated evaluation to compare new version against old version
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
この issue にはファイル、テスト、エントリーポイントが記載されていないため、まず既存の評価およびバージョニングのワークフローを特定します。古いバージョンと新しいバージョンをどのように選択するか、どのメトリクスをサポートするか、また新しいバージョンが改善しているかどうかを CI がどのように報告するかを定義します。完了条件は、明確なリグレッション結果を示す自動比較があることです。
索引モデルが issue の本文から書いたものです。
説明
Is your feature request related to a problem? Please describe.
Currently, there is no built-in way to objectively determine whether a new version performs better than the previous one. Users have to rely on manual testing or subjective judgment, which is time-consuming and error-prone.
Describe the solution you'd like
I would like a built-in evaluation feature that automatically benchmarks the new version against the old version across key metrics (e.g., performance, accuracy, resource usage, etc.) and provides a clear comparison report indicating whether the new version improves upon the old one.
Describe alternatives you've considered
Running separate tests manually and comparing logs/outputs side-by-side, but this is not efficient or standardized.
Additional context
This would be especially useful for CI/CD pipelines and regression testing.
- 主要言語
- Go
- スター
- 1.5k
- フォーク
- 134
- 平均マージ
- 1日 22時間
- マージ済み PR(30日)
- 61
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
alibaba/skill-up のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
メンテナーはふだん 1 日以内に返信
-
OpenSandbox runtime: expect.files_exist and file_contains fail because WorkspacePath is remote対応中かも @bababoom721 が 1 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
alibaba/skill-up#408 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
alibaba/skill-up#407 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
alibaba/skill-up#406 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
alibaba/skill-up の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
fluxcd/notification-controller#1441 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
OneBusAway/maglev#2145 ·
メンテナーはふだん 2 日以内に返信
-
priority/medium status/ready type/chore
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
discobox-ai/discobox#1357 ·
メンテナーはふだん 1 日以内に返信
-
TestPseudoLocaleRemote fails now and then: it types the code before the laptop asks for it対応中かも @fzn0x が今日担当しました。 オープンbug priority: low
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
edit_file diff rendering panics on invalid UTF-8 text対応中かも @TDnorthgarden が今日担当しました。 オープンarea/tui
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
docker/docker-agent#4955 ·
メンテナーはふだん 1 日以内に返信