Consider pinning public-skill context in benchmark metadata

Abierto
#744 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
38/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
python

Línea de trabajo

Comienza localizando los metadatos/configuración del benchmark y la ruta que llama a load_public_skills(); después, sigue cómo se resuelven EXTENSIONS_REF y los nombres de las skills cargadas. Revisa la documentación existente del benchmark y las salidas de metadatos antes de elegir entre registrar el ref y las skills, documentar un ref fijado o admitir un opt-out. La tarea estará terminada cuando la decisión sobre la reproducibilidad esté implementada y reflejada en los metadatos o en la documentación.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Context

During a local SWE-bench smoke evaluation on an HPC/Apptainer setup, I temporarily added an environment variable to disable load_public_skills() so the run only reflected the benchmark prompt, tools, model checkpoint, and dataset instance.

That local change was not kept for upstreaming because public skills are part of the current OpenHands benchmark harness and are standardized through OpenHands/extensions.

Reproducibility question

For controlled model comparisons, it may still be useful to make the skill set explicit in run metadata, because public skills are loaded from external extension content rather than being fully described by the benchmark repo commit alone. If the extension ref changes, two runs using the same benchmark commit/model/dataset could differ in available skill context.

Possible directions

  • Record the resolved EXTENSIONS_REF and loaded skill names in benchmark metadata.
  • Add documentation recommending a pinned EXTENSIONS_REF for benchmark papers or checkpoint comparisons.
  • Consider an explicit opt-out only for ablation/control runs, if maintainers think that is appropriate.

Non-goal

This is not proposing to disable public skills by default. The issue is only to decide whether benchmark metadata/config should make the loaded public skill context more explicit for reproducibility.

Lenguaje dominante
Python
Estrellas
134
Forks
97
Merge medio
8 d 23 h
PR fusionados (30 d)
2

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de OpenHands/benchmarks

Todos los issues de OpenHands/benchmarks

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.