EvalScope integration: one-command evaluation support for MiniMax-Vendor-Verifier
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 1/5
- 見積もり時間
- 1時間未満
- 初心者へのやさしさ
- 64/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
調査の方向性
まず、評価ワークフローに関する注記を追加するのに適した README またはドキュメントの箇所を探し、次にリンクされている EvalScope のベンチマークドキュメントとサンプルコマンドを確認します。ユーザーが EvalScope 統合を見つけ、コマンドとそのプレースホルダーを理解し、提供されたリンクをたどれるようになれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi MiniMax-AI/MiniMax-Provider-Verifier maintainers,
EvalScope now supports MiniMax-Vendor-Verifier. This gives users another way to run the benchmark when they want a standardized evaluation workflow around OpenAI-compatible model endpoints, saved predictions, scoring, and report generation.
This may be useful for users who find this repository while setting up MiniMax-Vendor-Verifier and want a quick path to evaluate a hosted or locally served model.
Example:
evalscope eval \
--model YOUR_MODEL \
--api-url OPENAI_API_COMPAT_URL \
--api-key EMPTY_TOKEN \
--datasets minimax_verifier \
--limit 10
Docs: https://evalscope.readthedocs.io/en/latest/benchmarks/minimax_verifier.html
EvalScope repo: https://github.com/modelscope/evalscope
We can also open a small PR adding this as a README/Docs note, linked to this issue.
- 主要言語
- Python
- スター
- 51
- フォーク
- 18
- 平均マージ
- 1日 2時間
- マージ済み PR(30日)
- 6
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
MiniMax-AI/MiniMax-Provider-Verifier のほかの issue
-
搞个实时排行榜呗オープンenhancement
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
MiniMax-AI/MiniMax-Provider-Verifier#1 ·
メンテナーはふだん 2 日以内に返信
MiniMax-AI/MiniMax-Provider-Verifier の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
-
[Bug]: Importing weave changes the process-wide locale対応中かも @himanshu748 が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
-
UX
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
mediajunkie/piper-morgan-product#2008 · コメント 2 件 ·