Allowing custom backends
@TLSDC ya está trabajando en esto.
Desde el 25/3/2025.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Right now, backends are decided by a string that is internally matched with a set of accepted strings:
benchmark = Benchmark(
name="visualwebarena",
backends=["visualwebarena"],
# ...
)
It would be good if we can have a class called Backend that must have a method called prepare, which is called when the backend is being prepared. This would allow anyone to submit a custom backend without having to rewrite the Benchmark class, e.g. backends=[MyBackend()]
- Lenguaje dominante
- Python
- Estrellas
- 1.4k
- Forks
- 202
- Merge medio
- 6 d 12 h
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/BrowserGym
-
[Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`Posiblemente ocupada @sriram687 la tomó hace 1 día. Abierto
ServiceNow/BrowserGym#417 · 1 asignado ·
-
WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)Posiblemente ocupada @salma2vec la tomó hace 5 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 32/100
ServiceNow/BrowserGym#412 ·
-
full_reset() gives no signal whether the environment was reset; skipped reset is indistinguishable from a successful onePosiblemente ocupada @Tharun-Varshan-S la tomó hace 7 días. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
ServiceNow/BrowserGym#406 · 3 comentarios ·
-
AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1Posiblemente ocupada @Andiii208 la tomó hace 26 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
ServiceNow/BrowserGym#404 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
ServiceNow/BrowserGym#401 ·
Todos los issues de ServiceNow/BrowserGym
Issues similares
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
glossyio/traffic-monitor#264 ·
Los mantenedores suelen responder en 1 día
-
Add self-hostAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
Atarity/deploy-your-own-saas#102 ·
-
[Bug]: RDFlex silently drops the covariate adjustment when the outcome or treatment column is integer-typedPosiblemente ocupada @vrjdev la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
DoubleML/doubleml-for-py#424 ·
Los mantenedores suelen responder en 1 día
-
agentic-dmx docs enhancement
Dificultad 1/5 1-3 horas Aptitud para principiantes 86/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
521xueweihan/HelloGitHub#4150 ·