SHAPER VLABench reproduction: 800-episode evaluation split and sandbox configuration
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 48/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Start with the linked SHAPER recipe and inspect its episode configuration plus harness_optimizer.txt to identify the defined training and validation splits and sandbox modules. Trace the evaluation entry point and documentation for the command that generates or consumes the 800-episode C1–C4 manifests. Reproduction is complete when the exact manifests, runtime configuration, command, and final evolved skill/harness artifacts are identified and verified.
索引モデルが issue の本文から書いたものです。
説明
Hi, I’m trying to reproduce the VLABench results using the SHAPER recipe on v0.x.
I have two questions:
- The recipe defines 15 training and 24 validation episodes, while the paper reports 800 held-out episodes across C1–C4. Where can I find the exact evaluation manifests and the command used to reproduce Table 2?
harness_optimizer.txtsays modules such ascollectionsare preloaded, but the sandbox namespace does not appear to provide them. Generated candidates encounterNameError: name 'collections' is not defined. What runtime configuration should be used?
Could you also share the final evolved skill and harness used for the reported results?
Thank you!
- 主要言語
- Python
- スター
- 18.8k
- フォーク
- 1.7k
- 平均マージ
- 3日 7時間
- マージ済み PR（30日）
- 11
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
microsoft/agent-lightning のほかの issue
-
RayPPOTrainer._dump_generations() missing gts argument in _train_step call対応中かも @yunkai-yyk が 252 日前に担当しました。 オープンbug v0.x verl
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
microsoft/agent-lightning#492 ·
メンテナーはふだん 2 日以内に返信
-
enhancement store v0.x
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
microsoft/agent-lightning#372 · コメント 10 件 ·
メンテナーはふだん 2 日以内に返信
-
Terminal rollout projection drops numeric dataset ID zero対応中かも @notoufa が 2 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 45/100
microsoft/agent-lightning#659 ·
メンテナーはふだん 2 日以内に返信
-
Gateway loses model-request events for malformed or non-object upstream JSON対応中かも @JianhaoYu-AI が 2 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 20/100
microsoft/agent-lightning#655 ·
メンテナーはふだん 2 日以内に返信
-
Trajectory aggregation: classify prefix mismatches (`template_mismatch` / `retoken_mismatch` are always `False`)対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 50/100
microsoft/agent-lightning#645 · コメント 4 件 ·
メンテナーはふだん 2 日以内に返信
microsoft/agent-lightning の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistencies対応中かも @github-actions が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
admission-deferred priority: medium status: ready work-class: scoped
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
melodic-software/claude-code-plugins#10887 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
backend bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
PoCInnovation/Distribox#255 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
google/langextract#598 ·
メンテナーはふだん 1 日以内に返信