Evaluation in WA differs from the official implementation
@amanjaiswal73892 ya está trabajando en esto.
Desde el 16/7/2025.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Why call the evaluator at every step? In the official implementation, it only evaluates at the final step.
https://github.com/web-arena-x/webarena/blob/df352854eef255b007110948f6d4f539af039717/run.py#L330
- Lenguaje dominante
- Python
- Estrellas
- 1.4k
- Forks
- 202
- Merge medio
- 6 d 15 h
- PR fusionados (30 d)
- 3
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/BrowserGym
-
[Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`Posiblemente ocupada @sriram687 la tomó hace 2 días. Abierto
ServiceNow/BrowserGym#417 · 1 asignado ·
-
WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)Posiblemente ocupada @salma2vec la tomó hace 6 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 32/100
ServiceNow/BrowserGym#412 ·
-
AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1Posiblemente ocupada @Andiii208 la tomó hace 27 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
ServiceNow/BrowserGym#404 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
ServiceNow/BrowserGym#401 ·
-
`miniwob.find-greatest` can be marked successful after selecting a non-maximum cardPosiblemente ocupada @jstar0 la tomó hace 104 días. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
ServiceNow/BrowserGym#392 ·
Todos los issues de ServiceNow/BrowserGym
Issues similares
-
Skill submission: negative-test-first (testing discipline; PR creation is collaborator-only)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
ComposioHQ/awesome-claude-skills#2398 ·
Los mantenedores suelen responder en 2 días
-
bug converter
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
grafana/sigma-rule-deployment#435 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
datamodel-code-generator/datamodel-code-generator#5589 ·
Los mantenedores suelen responder en 1 día
-
Shell: serve the home app's Cookie Policy on a hard reloadPosiblemente ocupada @2001anshkaushik la tomó hoy. Abiertofeature module:ai
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
rocketride-org/rocketride-server#2899 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
GEFSv12
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100