SHAPER VLABench reproduction: 800-episode evaluation split and sandbox configuration
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Documentación
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning, tooling
Línea de trabajo
Start with the linked SHAPER recipe and inspect its episode configuration plus harness_optimizer.txt to identify the defined training and validation splits and sandbox modules. Trace the evaluation entry point and documentation for the command that generates or consumes the 800-episode C1–C4 manifests. Reproduction is complete when the exact manifests, runtime configuration, command, and final evolved skill/harness artifacts are identified and verified.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi, I’m trying to reproduce the VLABench results using the SHAPER recipe on v0.x.
I have two questions:
- The recipe defines 15 training and 24 validation episodes, while the paper reports 800 held-out episodes across C1–C4. Where can I find the exact evaluation manifests and the command used to reproduce Table 2?
harness_optimizer.txtsays modules such ascollectionsare preloaded, but the sandbox namespace does not appear to provide them. Generated candidates encounterNameError: name 'collections' is not defined. What runtime configuration should be used?
Could you also share the final evolved skill and harness used for the reported results?
Thank you!
- Lenguaje dominante
- Python
- Estrellas
- 18.8k
- Forks
- 1.7k
- Merge medio
- 3 d 7 h
- PR fusionados (30 d)
- 11
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/agent-lightning
-
RayPPOTrainer._dump_generations() missing gts argument in _train_step callPosiblemente ocupada @yunkai-yyk la tomó hace 252 días. Abiertobug v0.x verl
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
microsoft/agent-lightning#492 ·
Los mantenedores suelen responder en 2 días
-
enhancement store v0.x
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
microsoft/agent-lightning#372 · 10 comentarios ·
Los mantenedores suelen responder en 2 días
-
Terminal rollout projection drops numeric dataset ID zeroPosiblemente ocupada @notoufa la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
microsoft/agent-lightning#659 ·
Los mantenedores suelen responder en 2 días
-
Gateway loses model-request events for malformed or non-object upstream JSONPosiblemente ocupada @JianhaoYu-AI la tomó hace 2 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 20/100
microsoft/agent-lightning#655 ·
Los mantenedores suelen responder en 2 días
-
Trajectory aggregation: classify prefix mismatches (`template_mismatch` / `retoken_mismatch` are always `False`)Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 50/100
microsoft/agent-lightning#645 · 4 comentarios ·
Los mantenedores suelen responder en 2 días
Todos los issues de microsoft/agent-lightning
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
MIT-LCP/wfdb-python#590 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
pollen-robotics/reachy_mini#1517 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 69/100
NRLMMD-GEOIPS/pluginify#41 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
scverse/spatialdata#1293 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
UKGovernmentBEIS/inspect_evals#2788 ·
Los mantenedores suelen responder en 1 día