Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

[Request] Release optimized skill artifacts for additional methods / models / harnesses

Abierto
  • ¿Algo no está bien?
#130 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 2 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
python
Área
release

Línea de trabajo

Los artefactos publicados actualmente se encuentran en ckpt/ como archivos best_skill.md compactos; empieza revisando esos archivos y las celdas de Table 1 indicadas en la issue. Se considera completado cuando se publiquen los artefactos adicionales solicitados y, cuando estén disponibles, sus historiales de ediciones aceptadas y sus puntuaciones de selección/prueba.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hi SkillOpt team,

Thank you for open-sourcing the best GPT-5.5 SkillOpt checkpoints under ckpt/
(https://github.com/microsoft/SkillOpt/tree/main/ckpt) — they have been very
helpful for getting started.

Context

I'm doing an analysis of the learned skills and would like to build on SkillOpt.
Since optimizing these skills is token-expensive and I'm compute/budget-constrained,
re-running the full loop to reproduce every cell in Table 1 is impractical on my end.
Because the exported artifacts are compact best_skill.md files (per the paper, mostly
<2,000 tokens), releasing them should be low-cost on your side and would let the
community study and compare the skills directly, and improve reproducibility.

Request

Would it be possible to release the exported skill artifacts (the final best_skill.md,
and ideally the accepted-edit history / selection & test scores if available) for the
following cells?

1. Direct-chat artifacts — one skill per benchmark
(SearchQA, SpreadsheetBench, OfficeQA, DocVQA, LiveMath, ALFWorld):

Method GPT-5.5 GPT-5.4 GPT-5.4-mini GPT-5.4-nano GPT-5.2 Qwen3.5-4B Qwen3.6-35B-A3B
SkillOpt ✅ done ⬜ ⬜ ⬜ ⬜ ⬜ ⬜
Trace2Skill ⬜ ⬜ ⬜ ⬜ ⬜ ⬜ ⬜
GEPA ⬜ ⬜ ⬜ ⬜ ⬜ ⬜ ⬜

2. Harness artifacts (GPT-5.5) — 5 benchmarks, no ALFWorld:

Method Codex harness Claude Code harness
SkillOpt ⬜ ⬜
EvoSkill ⬜ ⬜

Note: I limited the EvoSkill request to the Codex / Claude Code harnesses because,
if I read Table 1 correctly, EvoSkill is only reported there and not in the
direct-chat rows. Please correct me if direct-chat EvoSkill artifacts also exist.

Priority (in case a full release is too much at once)

If releasing everything is impractical, an incremental release in this order would
already be very useful to me:

  1. SkillOpt across the remaining 6 direct-chat models (the headline artifacts).
  2. GEPA and Trace2Skill across all 7 direct-chat models (for cross-method comparison).
  3. The Codex / Claude Code harness artifacts (SkillOpt + EvoSkill).

Happy to help however useful — e.g. verifying/organizing the released files, or writing
a short README for the extra checkpoints — and I will of course cite the paper.

Thanks again for the great work and for open-sourcing it!

Lenguaje dominante
Python
Estrellas
18.5k
Forks
1.8k
Merge medio
5 d 18 h
PR fusionados (30 d)
15

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de microsoft/SkillOpt

Todos los issues de microsoft/SkillOpt

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.