Consider pinning public-skill context in benchmark metadata
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 38/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- machine-learning, testing-qa
Línea de trabajo
Comienza localizando los metadatos/configuración del benchmark y la ruta que llama a load_public_skills(); después, sigue cómo se resuelven EXTENSIONS_REF y los nombres de las skills cargadas. Revisa la documentación existente del benchmark y las salidas de metadatos antes de elegir entre registrar el ref y las skills, documentar un ref fijado o admitir un opt-out. La tarea estará terminada cuando la decisión sobre la reproducibilidad esté implementada y reflejada en los metadatos o en la documentación.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Context
During a local SWE-bench smoke evaluation on an HPC/Apptainer setup, I temporarily added an environment variable to disable load_public_skills() so the run only reflected the benchmark prompt, tools, model checkpoint, and dataset instance.
That local change was not kept for upstreaming because public skills are part of the current OpenHands benchmark harness and are standardized through OpenHands/extensions.
Reproducibility question
For controlled model comparisons, it may still be useful to make the skill set explicit in run metadata, because public skills are loaded from external extension content rather than being fully described by the benchmark repo commit alone. If the extension ref changes, two runs using the same benchmark commit/model/dataset could differ in available skill context.
Possible directions
- Record the resolved
EXTENSIONS_REFand loaded skill names in benchmark metadata. - Add documentation recommending a pinned
EXTENSIONS_REFfor benchmark papers or checkpoint comparisons. - Consider an explicit opt-out only for ablation/control runs, if maintainers think that is appropriate.
Non-goal
This is not proposing to disable public skills by default. The issue is only to decide whether benchmark metadata/config should make the loaded public skill context more explicit for reproducibility.
- Lenguaje dominante
- Python
- Estrellas
- 134
- Forks
- 97
- Merge medio
- 8 d 23 h
- PR fusionados (30 d)
- 2
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenHands/benchmarks
-
SWE-bench Pro and ProgramBench reports leave out instances that errored during inferenceQuizá libre de nuevo @jahanvipandey22 la tomó hace 8 días y no hay ningún pull request abierto. Abierto
Dificultad 3/5 Medio día Aptitud para principiantes 62/100
OpenHands/benchmarks#791 · 1 comentario ·
-
create_docker_workspace never reuses locally-built images (tag mismatch with DockerDevWorkspace)Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 68/100
OpenHands/benchmarks#779 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
OpenHands/benchmarks#776 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100
OpenHands/benchmarks#764 · 16 comentarios ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
OpenHands/benchmarks#726 ·
Todos los issues de OpenHands/benchmarks
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
trycua/hermes-cua-spaces#17 ·
-
area:codegen backend:hip bug direction:output good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
status:waiting-for-triage type:bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
microsoftgraph/msgraph-sdk-python#1628 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
nautechsystems/nautilus_trader#5718 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: reme CLI crashes when the running server used a relative config pathPosiblemente ocupada @nurlanmnn la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
agentscope-ai/ReMe#770 ·
Los mantenedores suelen responder en 1 día