Port HybridGym benchmarks to Harbor

Aperta
#724 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
48/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
testing-qa

Direzione di ricerca

Inizia individuando il registry di Harbor e gli entry point di adapter/task per le integrazioni dei benchmark, quindi esamina gli attuali workflow dei benchmark di OpenHands per le quattro varianti di HybridGym. Aggiungi la copertura per la localizzazione delle funzioni, la generazione delle funzioni, la ricerca delle dipendenze e la localizzazione delle issue, preservando i prompt, la configurazione dell’ambiente e la semantica dell’evaluator di ciascuna variante. Il lavoro è completato quando tutte e quattro vengono eseguite tramite Harbor, vengono registrati i risultati di parità e i wrapper di OpenHands possono delegare l’esecuzione a Harbor.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Context

The HybridGym benchmarks (hybridgym_funclocalize, hybridgym_funcgen, hybridgym_depsearch, and hybridgym_issuelocalize) do not appear to have corresponding Harbor registry datasets/adapters yet. These should be ported as a benchmark family while keeping per-task scoring behavior intact.

Proposed scope

  • Create Harbor adapters/tasks for each HybridGym variant.
  • Preserve prompts, environment setup, and evaluator semantics for each variant.
  • Validate parity separately for function localization, function generation, dependency search, and issue localization.
  • Document any shared adapter code and per-variant differences.

Acceptance criteria

  • All four HybridGym variants can be run through Harbor.
  • Per-variant parity results are recorded against the current OpenHands benchmark workflows.
  • OpenHands wrappers can delegate HybridGym execution to Harbor.
Lingua principale
Python
Stelle
134
Fork
97
Merge medio
8g 23h
PR unite (30g)
2

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenHands/benchmarks

Tutte le issue di OpenHands/benchmarks

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.