Consider pinning public-skill context in benchmark metadata

Aperta
#744 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
38/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python

Direzione di ricerca

Inizia individuando i metadati/la configurazione del benchmark e il percorso che chiama load_public_skills(); quindi traccia come vengono risolti EXTENSIONS_REF e i nomi delle skill caricate. Esamina la documentazione esistente del benchmark e gli output dei metadati prima di scegliere tra registrare il ref e le skill, documentare un ref fissato o supportare un opt-out. Il lavoro è completato quando la decisione sulla riproducibilità è implementata e riflessa nei metadati o nella documentazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Context

During a local SWE-bench smoke evaluation on an HPC/Apptainer setup, I temporarily added an environment variable to disable load_public_skills() so the run only reflected the benchmark prompt, tools, model checkpoint, and dataset instance.

That local change was not kept for upstreaming because public skills are part of the current OpenHands benchmark harness and are standardized through OpenHands/extensions.

Reproducibility question

For controlled model comparisons, it may still be useful to make the skill set explicit in run metadata, because public skills are loaded from external extension content rather than being fully described by the benchmark repo commit alone. If the extension ref changes, two runs using the same benchmark commit/model/dataset could differ in available skill context.

Possible directions

  • Record the resolved EXTENSIONS_REF and loaded skill names in benchmark metadata.
  • Add documentation recommending a pinned EXTENSIONS_REF for benchmark papers or checkpoint comparisons.
  • Consider an explicit opt-out only for ablation/control runs, if maintainers think that is appropriate.

Non-goal

This is not proposing to disable public skills by default. The issue is only to decide whether benchmark metadata/config should make the loaded public skill context more explicit for reproducibility.

Lingua principale
Python
Stelle
134
Fork
97
Merge medio
8g 23h
PR unite (30g)
2

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenHands/benchmarks

Tutte le issue di OpenHands/benchmarks

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.