Fail to Reproduce WebArena Results with GenericAgent-GPT-4o
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 12/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
This is a reproduction question rather than a code change: the reporter ran make_study with benchmark "webarena" and AGENT_4o from agentlab.agents.generic_agent and got 25 against a leaderboard value of 31.4. Start by reading the study and agent configuration that make_study builds, then check whether the reporter's run matches the leaderboard setup. Done means a documented reproduction recipe or a confirmed explanation for the gap, and the issue has been unanswered for about a year, so expect to chase the maintainers first.
索引モデルが issue の本文から書いたものです。
説明
Dear AgentLab Authors,
Thank you for the great work! I'm trying to reproduce the WebArena Results with GenericAgent-GPT-4o. In particular, I used the following code. Everything should just follow AgentLab's default. However the number I got is 25 which is significantly lower than 31.4 as shown on the BrowserGym Leaderboard. Do you have any suggestions for the reproduction? Any code available to reproduce the performance ~31?
Thanks again for you great contribution to the community!
from agentlab.agents.generic_agent import AGENT_4o
from agentlab.experiments.study import make_study
from agentlab.experiments.study import Study
study = make_study(
benchmark="webarena",
agent_args=[AGENT_4o],
comment="repo 4o agent",
)
study.run(n_jobs=5)
- 主要言語
- Python
- スター
- 644
- フォーク
- 134
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ServiceNow/AgentLab のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
ServiceNow/AgentLab#340 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
ServiceNow/AgentLab#339 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 Integrationオープン
難易度 4/5 3〜5日 初心者へのやさしさ 15/100
ServiceNow/AgentLab#329 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 25/100
ServiceNow/AgentLab#324 · リアクション 2 件 ·
ServiceNow/AgentLab の issue をすべて見る
似ている issue
-
area/profiles comp/cli P3 type/feature
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
NousResearch/hermes-agent#146372 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistencies対応中かも @github-actions が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
GeoSeries scale and skew tests fail with pytest 9.2.0対応中かも @jiayuasu が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
admission-deferred priority: medium status: ready work-class: scoped
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
melodic-software/claude-code-plugins#10887 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信