Benchmark 2.0
@archduke1337 がすでに取り組んでいます。
2026年7月11日 から。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 38/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- typescript
- 領域
- analytics
調査の方向性
ファイル、テスト、エントリーポイントは指定されていません。まず、ベンチマークの質問がどこで実行され、その結果がどこで組み立てられて保存されるのかを特定します。質問ごとのメトリクス、モデルの平均値、合計、ツール呼び出し、過去のベンチマークをどのように表現するかを決める前に、既存の結果の構造を把握してください。完了の条件は、過去のベンチマーク結果を失うことなく、一覧にあるすべてのメトリクスが記録され、報告されることです。
索引モデルが issue の本文から書いたものです。
説明
🔖 Enhancement description
Details to include:
- ✅ Tokens used for each question (and average per model)
- ✅ Separate model input & output price
- ✅ Duration for each question (and average per model)
- ✅ Cost for each question (and average per model)
- ✅ TPS of model, like price of model
- ✅ total cost (sum of all)
- ✅ Remember total tool calls done for each question, and average on model
- Structure that stores old benchmarks too, not just latest
🎤 Pitch
More insightful benhmark
👀 Have you spent some time to check if this issue has been raised before?
- I checked and didn't find similar issue
🏢 Have you read the Code of Conduct?
- I have read the Code of Conduct
- 主要言語
- TypeScript
- スター
- 42
- フォーク
- 6
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
appwrite/arena のほかの issue
-
Dependency Dashboardオープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
似ている issue
-
area: web bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
kinqsradio/orbyn-engineering#227 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
joeldesante/TurfBuilder#258 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
ncecere/open-mcp-portal#85 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 63/100
loathers/garbage-collector#2865 ·
メンテナーはふだん 1 日以内に返信
-
test-reliability
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
Azure/azure-sdk-for-js#40672 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信