Fail to Reproduce WebArena Results with GenericAgent-GPT-4o
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 12/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- python
研究方向
This is a reproduction question rather than a code change: the reporter ran make_study with benchmark "webarena" and AGENT_4o from agentlab.agents.generic_agent and got 25 against a leaderboard value of 31.4. Start by reading the study and agent configuration that make_study builds, then check whether the reporter's run matches the leaderboard setup. Done means a documented reproduction recipe or a confirmed explanation for the gap, and the issue has been unanswered for about a year, so expect to chase the maintainers first.
由索引模型根據 Issue 內容生成。
描述
Dear AgentLab Authors,
Thank you for the great work! I'm trying to reproduce the WebArena Results with GenericAgent-GPT-4o. In particular, I used the following code. Everything should just follow AgentLab's default. However the number I got is 25 which is significantly lower than 31.4 as shown on the BrowserGym Leaderboard. Do you have any suggestions for the reproduction? Any code available to reproduce the performance ~31?
Thanks again for you great contribution to the community!
from agentlab.agents.generic_agent import AGENT_4o
from agentlab.experiments.study import make_study
from agentlab.experiments.study import Study
study = make_study(
benchmark="webarena",
agent_args=[AGENT_4o],
comment="repo 4o agent",
)
study.run(n_jobs=5)
- 主要語言
- Python
- 星號
- 644
- 分支
- 134
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南，環境需要你自己搭建：先看它的 README，通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
ServiceNow/AgentLab 的其他 Issue
-
難度 4/5 3-5 天 新手友好度 48/100
ServiceNow/AgentLab#340 ·
-
難度 5/5 一週以上 新手友好度 25/100
ServiceNow/AgentLab#339 ·
-
難度 4/5 3-5 天 新手友好度 22/100
ServiceNow/AgentLab#331 ·
-
難度 4/5 3-5 天 新手友好度 15/100
ServiceNow/AgentLab#329 ·
-
難度 3/5 1-2 天 新手友好度 25/100
ServiceNow/AgentLab#324 · 2 個 reaction ·
查看 ServiceNow/AgentLab 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 82/100
維護者通常 1 天內回覆
-
namespace operations
難度 1/5 1 小時以內 新手友好度 65/100
EclipseFdn/open-vsx.org#15057 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 76/100
FinanceFlash/unvibecode#349 ·
-
Mission statement: why this is free, in the README, Why This Exists and the wiki Home可能已有人在做 @ChiefGyk3D 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 76/100
ChiefGyk3D/Clouds-Against-Humanity#348 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 74/100
vllm-project/vime#508 ·
維護者通常 4 天內回覆