SCRIP-REPRO-010: strict cross-work FantLab benchmark readiness and delta report
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
Línea de trabajo
Read the existing benchmark schema and test code, along with the named benchmark evidence archives, before defining the report flow. Trace how source and profile matching, reference URL and precision validation, and NOT_RUN or unknown states are represented. Done means deterministic tests and CI cover fail-closed validation and produce the requested human-readable report plus source-free JSON and CSV; the issue states that this alone does not close M2.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Outcome
Give researchers one inspectable, reproducible matrix of which retained work/metric can genuinely be compared with FantLab, and why each remaining gate is not satisfied.
Existing local leads
Scriptorium-Benchmark-Strict-Reference-20261020.zip, Scriptorium-Benchmark-Evidence-Library-20261017.zip, Scriptorium-FantLab-Benchmark-Evidence-Viewer-20261017.zip, Scriptorium-Strict-Reference-URL-Binding-20261020.zip. Reuse existing repository benchmark schema/test code; do not create a competing science contract.
Acceptance
- For at least five retained legally usable >=300,000-character candidates, record source/translator edition, rights, frozen body length/digests, FantLab reference URL/date, whether exact analyzer-input text is established and separate
NOT_RUN/unknown states. - Only source-and-profile-matched evidence gets parity eligibility. Source-unmatched comparisons are diagnostic even if counts nearly coincide.
- Strict reference URL and displayed precision/rounding evidence are independently validated; no tolerance weakening.
- Human-readable report plus source-free JSON/CSV with exact expected/actual/delta; falsified inputs fail closed; deterministic tests and CI.
- This does not close M2 until five actual source-matched works reproduce required fields.
- Lenguaje dominante
- Python
- Estrellas
- 4
- Forks
- 0
- Merge medio
- 1 d 8 h
- PR fusionados (30 d)
- 36
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de drevendev/Scriptorium
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
drevendev/Scriptorium#285 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
drevendev/Scriptorium#284 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
drevendev/Scriptorium#283 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
drevendev/Scriptorium#282 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 15/100
drevendev/Scriptorium#265 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de drevendev/Scriptorium
Issues similares
-
Project submission:Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
slavakurilyak/awesome-ai-agents#845 ·
Los mantenedores suelen responder en 1 día
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directoryPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertodifficulty:2 enhancement good first issue
Dificultad 1/5 1-3 horas Aptitud para principiantes 92/100
MakazhanAlpamys/Soup#2178 ·
Los mantenedores suelen responder en 1 día
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-valuesAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
scverse/rapids-singlecell#854 ·
Los mantenedores suelen responder en 1 día
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGLPosiblemente ocupada @ninglinLiu la tomó hoy. Abiertoarea:frontend backend:slang bug direction:input
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 13 días