jev-v3 shadow week: review the disagreement report and decide the flip
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- bun, typescript
- Área
- backend, observability, security
Línea de trabajo
Review the shadow week logs by running bun eval/live-report.ts --hours 168. Check for regressions where the live system denied but v3 would allow. Examine the 'headless blocks v3 would allow' list and outage bucket. Decide whether to flip the policy to 'jev-v3' based on the report, then update configuration accordingly.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Phase 2 of docs/plans/2026-09-19-intent-aware-judgment.md is merged (#100 #104 #101 #102 #110, with fixes #105 #108 #112 #114 #115). The jev-v3 judgment now runs in shadow on every fresh classification and logs v3 beside the live verdict. This issue is the plan's "Flip" step.
merged 2026-09-22 ─▶ OMP reloads the plugin ─▶ shadow week ─▶ review report ─▶ flip or not
(7 days) bun eval/live-report.ts --hours 168
Before starting the clock
- OMP has reloaded the plugin from
main(a decision line carriesv3). -
shadowV3is on (the default).
At the end of the week
- Run
bun eval/live-report.ts --hours 168. It must not print INCOMPLETE. - REGRESSIONS (denied live, v3 would allow) is empty. That is the plan's flip criterion.
- Read the "headless blocks v3 would allow" list and the outage bucket.
- Decide the flip: set
policy: "jev-v3", then after a further week without regression, remove the jev-v2 path.
Known limits going in
- Branch 5 (the reviewer) is UNSURE until Phase 3 builds it.
- A task stated mid-session still ages out of evidence (#106).
- The live evidence collectors read past
/clear(#103); the jev-v3 builder doesn't. - The shadow costs two more Jev requests per fresh classification.
- Lenguaje dominante
- TypeScript
- Estrellas
- 0
- Forks
- 1
- Merge medio
- 2 h 10 min
- PR fusionados (30 d)
- 64
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de STRML/omp-classifier
-
Decide whether a coordinator may lift a headless worker's refusal (the trust boundary #68 defers)Abiertoenhancement ready-for-human
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
STRML/omp-classifier#142 ·
Los mantenedores suelen responder en 1 día
-
enhancement ready-for-human
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
STRML/omp-classifier#13 · 6 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de STRML/omp-classifier
Issues similares
-
needs:triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
ai-discovered
Dificultad 2/5 1-3 horas Aptitud para principiantes 83/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
jessepollak/home#1627 ·
Los mantenedores suelen responder en 1 día
-
agent-canvas bug llm priority:low ready-for-dev
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
OpenHands/OpenHands#17806 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
radius-project/ai-extensions#923 ·
Los mantenedores suelen responder en 1 día