Performance of referencing library vs deprecated jsonschema.RefResolver is very bad when there are a lot of references in schema
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 52/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- performance
Línea de trabajo
Reproduce el caso de validación reportado usando los datos de prueba y el esquema de plate-reader enlazados, comparando jsonschema 4.17.0 con 4.18.0. Comienza con tests/parsers/moldev_softmax_pro y su tiempo de ejecución de 26 pruebas; después, sigue la ruta de referenciación y validación para identificar la regresión. Se considera terminado cuando la causa está aislada y el esquema con referencias grandes ya no muestra la ralentización reportada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello!
I have a library that formats scientific data into a JSON schema called the Allotrope Standard Model (ASM)
The validation schemas are fairly large and complicated compared to other schemas I've seen in discussion boards, and are very modular, meaning there are a lot of references. In allotropy we store the ASM schemas directly, and remove all remote references, replacing them with local references under $defs.
We are finding that validating against the schemas using jsonschema version 4.18.0 takes ~20x longer than 4.17.0.
As a concrete example:
Validating this data: https://raw.githubusercontent.com/Benchling-Open-Source/allotropy/refs/heads/main/tests/parsers/moldev_softmax_pro/testdata/MD_SMP_luminescence_endpoint_example08.json
Against this schema: https://github.com/Benchling-Open-Source/allotropy/blob/main/src/allotropy/allotrope/schemas/adm/plate-reader/REC/2024/06/plate-reader.schema.json
takes ~3.5s on 4.17.0 and ~55s on 4.18.0
This translates to a runtime for all 26 tests in tests/parsers/moldev_softmax_pro of ~30s in 4.17.0 to ~6m in 4.18.0
- Lenguaje dominante
- Python
- Estrellas
- 53
- Forks
- 27
- Merge medio
- 1 d 8 h
- PR fusionados (30 d)
- 8
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de python-jsonschema/referencing
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
python-jsonschema/referencing#366 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
python-jsonschema/referencing#257 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
python-jsonschema/referencing#226 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
python-jsonschema/referencing#160 · 3 comentarios · 2 reacciones ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100
python-jsonschema/referencing#119 · 4 comentarios ·
Todos los issues de python-jsonschema/referencing
Issues similares
-
[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell Abiertoarea: harness bug status: needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Human-Agent-Society/reef#625 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
learningequality/kolibri#15351 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Name consistency Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
eellak/triplestore#65 · 1 comentario ·