Consider pinning public-skill context in benchmark metadata
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 38/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- machine-learning, testing-qa
Direzione di ricerca
Inizia individuando i metadati/la configurazione del benchmark e il percorso che chiama load_public_skills(); quindi traccia come vengono risolti EXTENSIONS_REF e i nomi delle skill caricate. Esamina la documentazione esistente del benchmark e gli output dei metadati prima di scegliere tra registrare il ref e le skill, documentare un ref fissato o supportare un opt-out. Il lavoro è completato quando la decisione sulla riproducibilità è implementata e riflessa nei metadati o nella documentazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Context
During a local SWE-bench smoke evaluation on an HPC/Apptainer setup, I temporarily added an environment variable to disable load_public_skills() so the run only reflected the benchmark prompt, tools, model checkpoint, and dataset instance.
That local change was not kept for upstreaming because public skills are part of the current OpenHands benchmark harness and are standardized through OpenHands/extensions.
Reproducibility question
For controlled model comparisons, it may still be useful to make the skill set explicit in run metadata, because public skills are loaded from external extension content rather than being fully described by the benchmark repo commit alone. If the extension ref changes, two runs using the same benchmark commit/model/dataset could differ in available skill context.
Possible directions
- Record the resolved
EXTENSIONS_REFand loaded skill names in benchmark metadata. - Add documentation recommending a pinned
EXTENSIONS_REFfor benchmark papers or checkpoint comparisons. - Consider an explicit opt-out only for ablation/control runs, if maintainers think that is appropriate.
Non-goal
This is not proposing to disable public skills by default. The issue is only to decide whether benchmark metadata/config should make the loaded public skill context more explicit for reproducibility.
- Lingua principale
- Python
- Stelle
- 134
- Fork
- 97
- Merge medio
- 8g 23h
- PR unite (30g)
- 2
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenHands/benchmarks
-
SWE-bench Pro and ProgramBench reports leave out instances that errored during inferenceForse di nuovo libera @jahanvipandey22 l’ha presa 8 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 3/5 Mezza giornata Idoneità per principianti 62/100
OpenHands/benchmarks#791 · 1 commento ·
-
create_docker_workspace never reuses locally-built images (tag mismatch with DockerDevWorkspace)Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
OpenHands/benchmarks#779 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
OpenHands/benchmarks#776 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100
OpenHands/benchmarks#764 · 16 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
OpenHands/benchmarks#726 ·
Tutte le issue di OpenHands/benchmarks
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
trycua/hermes-cua-spaces#17 ·
-
area:codegen backend:hip bug direction:output good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
status:waiting-for-triage type:bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
microsoftgraph/msgraph-sdk-python#1628 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
nautechsystems/nautilus_trader#5718 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: reme CLI crashes when the running server used a relative config pathForse già presa @nurlanmnn l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
agentscope-ai/ReMe#770 ·
I maintainer di solito rispondono entro 1 giorno