Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Fail to Reproduce WebArena Results with GenericAgent-GPT-4o

Đang mở
  • Có gì không ổn?
#249 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
12/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
ai-infra-agents

Hướng nghiên cứu

This is a reproduction question rather than a code change: the reporter ran make_study with benchmark "webarena" and AGENT_4o from agentlab.agents.generic_agent and got 25 against a leaderboard value of 31.4. Start by reading the study and agent configuration that make_study builds, then check whether the reporter's run matches the leaderboard setup. Done means a documented reproduction recipe or a confirmed explanation for the gap, and the issue has been unanswered for about a year, so expect to chase the maintainers first.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

Dear AgentLab Authors,

Thank you for the great work! I'm trying to reproduce the WebArena Results with GenericAgent-GPT-4o. In particular, I used the following code. Everything should just follow AgentLab's default. However the number I got is 25 which is significantly lower than 31.4 as shown on the BrowserGym Leaderboard. Do you have any suggestions for the reproduction? Any code available to reproduce the performance ~31?

Thanks again for you great contribution to the community!

from agentlab.agents.generic_agent import AGENT_4o 

from agentlab.experiments.study import make_study
from agentlab.experiments.study import Study

study = make_study(
    benchmark="webarena", 
    agent_args=[AGENT_4o],
    comment="repo 4o agent",
)



study.run(n_jobs=5)
Ngôn ngữ chính
Python
Star
644
Fork
134
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ServiceNow/AgentLab

Tất cả issue của ServiceNow/AgentLab

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.