关于 EdgeBench 长时程实验中逐轮反馈与 Agent 行为轨迹的数据 Research question: per-run feedback and adaptation traces
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Start with the evaluation platform and the related discussion in #7, which the issue identifies as covering time-varying scores. Ask whether the original experiments retained per-run records linking feedback, agent actions or revisions, and later outcomes, and whether any are available for research. Done means providing a pointer to suitable public data or clarifying its availability; the proposed offline analysis is research work rather than a specified repository change.
索引モデルが issue の本文から書いたものです。
説明
各位老师好，
最近在看 EdgeBench 和 SForge，比较感兴趣的是 Agent 在长时程任务中如何利用中间评估反馈调整后续行为。
我注意到 #7 已经讨论过随时间变化的评分数据，维护者也提供了评测平台。不过我想进一步了解的是，原始实验中是否保留了能够按运行和时间步骤对齐的记录，例如每次评估的反馈、Agent 随后的行动或策略调整，以及后续的评估结果。
我目前关注 AI evaluation、feedback reliability 和 agent learning。一个想验证的问题是：中间评分的改善，是否真的能预测后续任务表现的提升？如果存在误导性反馈，能否通过额外的独立证据区分有效进展与虚假的局部改善？
如果有相关记录，我想先基于已有实验数据做一个小规模离线分析，比较简单的分数阈值与证据条件化方法的表现，暂时不涉及重新训练大模型。
想请教一下，这类逐轮反馈与行为记录是否有公开版本，或者是否存在可以用于科研分析的部分数据？如果团队已经在研究类似问题，也很希望了解现有进展，避免重复工作。
谢谢！
郭佰鑫
微信：Max-GuoBX
Thanks for releasing EdgeBench and SForge.
I'm interested in how agents use intermediate evaluation feedback during long-horizon tasks, particularly when an apparent improvement in a local score does not translate into reliable downstream progress.
I saw #7 and the link to the evaluation platform, but I'm looking for a slightly different artifact: temporally aligned records of evaluator feedback, subsequent agent actions or revisions, and later evaluation outcomes from the same run.
Were any such per-run traces retained from the original experiments, and are they available for research use?
I'd like to start with a small offline study of when intermediate feedback is actually informative enough to guide further adaptation, comparing simple score-based rules against evidence-conditioned alternatives. I wouldn't need a new training run or additional compute to begin.
If this is already covered by a public artifact or ongoing study, a pointer would be very helpful.
Thanks,
Baixin Guo (Max)
- 主要言語
- Python
- スター
- 474
- フォーク
- 20
- 平均マージ
- 3日 6時間
- マージ済み PR（30日）
- 3
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ByteDance-Seed/EdgeBench のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
ByteDance-Seed/EdgeBench#48 ·
メンテナーはふだん 2 日以内に返信
-
FFmpeg: public result hides whether failure occurred before correctness checks対応中かも @loopx-agent が 1 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
ByteDance-Seed/EdgeBench#57 ·
メンテナーはふだん 2 日以内に返信
-
integer_compression_codec: stored size anchors are impossible for the documented Varint starterオープン
難易度 4/5 3〜5日 初心者へのやさしさ 54/100
ByteDance-Seed/EdgeBench#52 ·
メンテナーはふだん 2 日以内に返信
-
wesnoth_tactical_ai: top-level Lua files never run (`if io then` raises on an undefined global)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
ByteDance-Seed/EdgeBench#51 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
ByteDance-Seed/EdgeBench#50 ·
メンテナーはふだん 2 日以内に返信
ByteDance-Seed/EdgeBench の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
aws-samples/sample-per-model-bedrock#795 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
Pretalx reports older version to be the latest release than what is actually installed and availableオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
micropython/micropython#19906 ·
メンテナーはふだん 1 日以内に返信