Measure trycua/cua oracle gateability on this tree (cua-s1-forms port)
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- ai-infra-agents, testing-qa
Línea de trabajo
The task involves running the TinyTransformerScorer from the pinned trycua/cua commit and the local CuaS1ScoreInference on the cua-s1-forms checkpoint. Start by examining .agents/oracles/cua.md for the exact commit and checkpoint details. Look for existing inference scripts or tests related to CuaS1ScoreInference. Run both inference paths on a fixed workload, compare probabilities within 1e-5 tolerance, and update the oracle file's gateable field and evidence. The local record is in row MODEL-CUA-S1-FORMS.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
PR #3265 landed the cua-s1-forms port (TinyTransformerScorer, 706K params, f32) with .agents/oracles/cua.md pinned at trycua/cua 9bbfa7dd3e27ca7f1861ede70aaca390174493f9 and gateable = no, but the oracle has never been RUN against this tree — the pin was verified via the GitHub API only, so it carries no gate authority (AGENTS.md: an oracle is only gateable once it demonstrably builds and runs the model).
This issue owns that measurement and is the #N the oracle file's evidence field must cite:
- Build/run the Laya-Python-equivalent reference path: execute the pinned
trycua/cuaTinyTransformerScorer+ByteCollatorinference on the publishedcua-s1-formscheckpoint (2.8 MB, f32) and record outputs on a fixed workload. - Run our
CuaS1ScoreInferenceon the same checkpoint and workload; compare probabilities to the oracle's recorded tolerance (spec: 1e-5). - Record the result in
.agents/oracles/cua.md(gateableyes/no + evidence path) and in the row's records.
Local record: ISSUE-LOCAL-01M32WZMKVRBP4PH21KPHEDS3V (row MODEL-CUA-S1-FORMS).
FOLLOWING_AGENTS_PROTOCOL
Following-Agents-Protocol: true
AI-Assisted: true
Assisted-by: AGENT:regolo/glm5.2 [maki]
- Lenguaje dominante
- C++
- Estrellas
- 423
- Forks
- 53
- Merge medio
- 1 d 7 h
- PR fusionados (30 d)
- 380
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mudler/vllm.cpp
-
[Windows] full build fails in tools/bench/conv1d_scaling_probe.cpp (POSIX-only sys/resource.h)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
Todos los issues de mudler/vllm.cpp
Issues similares
-
WaterHeaterManagement: tank_percent feature reports wrong feature id (FeatureMap corruption)Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
espressif/esp-matter#1867 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
cuAmpcorParameter.cpp (CPU pycuampcor) does not compile with libc++: EXIT_FAILURE is undeclaredAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
isce-framework/isce3#387 ·
-
[request] opencv/5.0.0Abiertoupstream update
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
conan-io/conan-center-index#31055 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día