SHAPER VLABench reproduction: 800-episode evaluation split and sandbox configuration
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 48/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- machine-learning, tooling
Direzione di ricerca
Start with the linked SHAPER recipe and inspect its episode configuration plus harness_optimizer.txt to identify the defined training and validation splits and sandbox modules. Trace the evaluation entry point and documentation for the command that generates or consumes the 800-episode C1–C4 manifests. Reproduction is complete when the exact manifests, runtime configuration, command, and final evolved skill/harness artifacts are identified and verified.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi, I’m trying to reproduce the VLABench results using the SHAPER recipe on v0.x.
I have two questions:
- The recipe defines 15 training and 24 validation episodes, while the paper reports 800 held-out episodes across C1–C4. Where can I find the exact evaluation manifests and the command used to reproduce Table 2?
harness_optimizer.txtsays modules such ascollectionsare preloaded, but the sandbox namespace does not appear to provide them. Generated candidates encounterNameError: name 'collections' is not defined. What runtime configuration should be used?
Could you also share the final evolved skill and harness used for the reported results?
Thank you!
- Lingua principale
- Python
- Stelle
- 18.8k
- Fork
- 1.7k
- Merge medio
- 3g 13h
- PR unite (30g)
- 10
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/agent-lightning
-
Low-precision rollout normalization can overflow its divisor and erase advantagesForse già presa @lll-hhh l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
microsoft/agent-lightning#661 ·
I maintainer di solito rispondono entro 2 giorni
-
RayPPOTrainer._dump_generations() missing gts argument in _train_step callForse già presa @yunkai-yyk l’ha presa 253 giorni fa. Apertabug v0.x verl
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
microsoft/agent-lightning#492 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement store v0.x
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
microsoft/agent-lightning#372 · 10 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Terminal rollout projection drops numeric dataset ID zeroForse già presa @notoufa l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
microsoft/agent-lightning#659 ·
I maintainer di solito rispondono entro 2 giorni
-
Gateway loses model-request events for malformed or non-object upstream JSONForse già presa @JianhaoYu-AI l’ha presa 4 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 20/100
microsoft/agent-lightning#655 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di microsoft/agent-lightning
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
-
Validate finite output clamping limits in StepPredictor.prepare_clamping_params to prevent silent NaN/Inf propagationForse già presa @muskan-creates352 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
mllam/neural-lam#848 ·
I maintainer di solito rispondono entro 2 giorni
-
infra
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
fab-geocommuns/RNB-coeur#1166 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
deepspeedai/DeepSpeed#8951 ·
I maintainer di solito rispondono entro 2 giorni