Port SWEfficiency benchmark to Harbor

Aperta
#725 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
docker, python

Direzione di ricerca

Inizia esaminando benchmarks/swefficiency e i pattern esistenti di dataset/adapter del registro Harbor. Traccia il wrapper OpenHands e confronta i relativi controlli delle risorse, il comportamento del verificatore e il punteggio delle prestazioni con le esecuzioni Harbor. Il lavoro è completato quando le attività SWEfficiency vengono eseguite tramite Harbor, la parità è documentata e il wrapper può delegare l’esecuzione a Harbor.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Context

benchmarks/swefficiency does not appear to have a corresponding Harbor registry dataset/adapter yet. It has resource-sensitive Docker behavior and performance-oriented verification, so it should be ported deliberately with parity checks.

Proposed scope

  • Create a Harbor adapter/dataset for SWEfficiency tasks.
  • Preserve CPU/memory/resource assumptions and performance scoring semantics.
  • Validate Oracle/reference behavior where available.
  • Compare current OpenHands harness results against Harbor runs.

Acceptance criteria

  • SWEfficiency tasks can be run through Harbor with appropriate resource controls.
  • Performance/verifier parity is documented.
  • The OpenHands wrapper can delegate SWEfficiency execution to Harbor.
Lingua principale
Python
Stelle
134
Fork
97
Merge medio
8g 23h
PR unite (30g)
2

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenHands/benchmarks

Tutte le issue di OpenHands/benchmarks

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.