return version of benchmark
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Could we implement this?
Benchmark.get_version() -> str
meant to replace this code:
def _get_benchmark_version(benchmark: bgym.Benchmark) -> str:
benchmark_name = benchmark.name
if hasattr(benchmark, "get_version"):
return benchmark.get_version()
# in the mean time
if benchmark_name.startswith("miniwob"):
return metadata.distribution("browsergym.miniwob").version
elif benchmark_name.startswith("workarena"):
return metadata.distribution("browsergym.workarena").version
elif benchmark_name.startswith("webarena"):
return metadata.distribution("browsergym.webarena").version
elif benchmark_name.startswith("visualwebarena"):
return metadata.distribution("browsergym.visualwebarena").version
elif benchmark_name.startswith("weblinx"):
try:
return metadata.distribution("weblinx_browsergym").version
except metadata.PackageNotFoundError:
return "0.0.1rc1"
else:
raise ValueError(f"Unknown benchmark {benchmark_name}")
- Lenguaje dominante
- Python
- Estrellas
- 1.4k
- Forks
- 202
- Merge medio
- 6 d 15 h
- PR fusionados (30 d)
- 3
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/BrowserGym
-
[Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`Posiblemente ocupada @sriram687 la tomó hace 4 días. Abierto
ServiceNow/BrowserGym#417 · 1 asignado ·
-
WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)Posiblemente ocupada @salma2vec la tomó hace 8 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 32/100
ServiceNow/BrowserGym#412 ·
-
AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1Posiblemente ocupada @Andiii208 la tomó hace 29 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
ServiceNow/BrowserGym#404 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
ServiceNow/BrowserGym#401 ·
-
`miniwob.find-greatest` can be marked successful after selecting a non-maximum cardPosiblemente ocupada @jstar0 la tomó hace 106 días. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
ServiceNow/BrowserGym#392 ·
Todos los issues de ServiceNow/BrowserGym
Issues similares
-
_chunk_scan_fwd launches its Triton kernel without a device guard: NaN when a model is split across GPUsPosiblemente ocupada @toddwbucy la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
state-spaces/mamba#1072 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
loopj/aiovantage#414 ·
Los mantenedores suelen responder en 1 día
-
power_mismatch_deline docstring: the rear-to-total RMAD conversion has an extra bifaciality factorAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
pvlib/pvlib-python#2929 ·
Los mantenedores suelen responder en 1 día
-
data good first issue launch-day unverified
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
BradGroux/wow-forever-mission-control#8 ·
Los mantenedores suelen responder en 1 día
-
check bilibili falsely reports read/subtitle as broken: live_test fixture BV1GJ411x7h7 is gone (404)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Panniantong/Agent-Reach#889 ·
Los mantenedores suelen responder en 2 días