workarena_l3 benchmark not found
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 35/100
Línea de trabajo
The payload names no files, so start by searching the repository for where benchmark names like workarena_l3 and workarena_l3_agent_curriculum_eval are registered, and reproduce the error by passing workarena_l3 as the benchmark. Confirm whether the second name exists and matches the L3 WorkArena task set. Done means the maintainers have settled the canonical name, and the code, an alias or the docs agree with it. The thread has no answer after 249 days, so check with a maintainer before writing a patch.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Specifying the benchmark as "workarena_l3" raises an error. Is "workarena_l3_agent_curriculum_eval" the same as the set of L3 tasks from WorkArena? And if so, should this name be used instead of "workarena_l3"?
- Lenguaje dominante
- Python
- Estrellas
- 644
- Forks
- 134
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/AgentLab
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
ServiceNow/AgentLab#340 ·
-
Availability and use terms for minimized HTTP traces linked to recorded agent configurationsAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
ServiceNow/AgentLab#339 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 15/100
ServiceNow/AgentLab#329 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
ServiceNow/AgentLab#324 · 2 reacciones ·
Todos los issues de ServiceNow/AgentLab
Issues similares
-
Context/namespace resources fail in-cluster: "Invalid kube-config file. No configuration found."Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
-
bug documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
awslabs/visual-asset-management-system#880 ·
Los mantenedores suelen responder en 1 día
-
netbox status: needs owner type: documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
netbox-community/netbox#23533 ·
Los mantenedores suelen responder en 1 día
-
app: scripts status: backlog type: documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
netbox-community/netbox-scripts#68 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
marin-community/marin#10765 ·
Los mantenedores suelen responder en 1 día