Fail to Reproduce WebArena Results with GenericAgent-GPT-4o
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 12/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- ai-infra-agents
Piste de recherche
This is a reproduction question rather than a code change: the reporter ran make_study with benchmark "webarena" and AGENT_4o from agentlab.agents.generic_agent and got 25 against a leaderboard value of 31.4. Start by reading the study and agent configuration that make_study builds, then check whether the reporter's run matches the leaderboard setup. Done means a documented reproduction recipe or a confirmed explanation for the gap, and the issue has been unanswered for about a year, so expect to chase the maintainers first.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Dear AgentLab Authors,
Thank you for the great work! I'm trying to reproduce the WebArena Results with GenericAgent-GPT-4o. In particular, I used the following code. Everything should just follow AgentLab's default. However the number I got is 25 which is significantly lower than 31.4 as shown on the BrowserGym Leaderboard. Do you have any suggestions for the reproduction? Any code available to reproduce the performance ~31?
Thanks again for you great contribution to the community!
from agentlab.agents.generic_agent import AGENT_4o
from agentlab.experiments.study import make_study
from agentlab.experiments.study import Study
study = make_study(
benchmark="webarena",
agent_args=[AGENT_4o],
comment="repo 4o agent",
)
study.run(n_jobs=5)
- Langage dominant
- Python
- Étoiles
- 644
- Forks
- 134
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ServiceNow/AgentLab
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
ServiceNow/AgentLab#340 ·
-
Availability and use terms for minimized HTTP traces linked to recorded agent configurationsOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
ServiceNow/AgentLab#339 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationOuverte
Difficulté 4/5 3-5 jours Accessibilité débutants 15/100
ServiceNow/AgentLab#329 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 25/100
ServiceNow/AgentLab#324 · 2 réactions ·
Toutes les issues de ServiceNow/AgentLab
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
microsoft/agent-lightning#661 ·
Les mainteneurs répondent en général sous 2 jours
-
area/profiles comp/cli P3 type/feature
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
NousResearch/hermes-agent#146372 ·
Les mainteneurs répondent en général sous 1 jour
-
[BUG] OpenAI-compatible embedding model alias breaks embedder constructionPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
Les mainteneurs répondent en général sous 1 jour
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistenciesPeut-être pris @github-actions l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour
-
GeoSeries scale and skew tests fail with pytest 9.2.0Peut-être pris @jiayuasu l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour