Encoding detection unpredictable

Abierto
#105 5 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
java
Área
backend, testing-qa

Línea de trabajo

Comienza ejecutando el servidor de validación con java -cp vnu.jar nu.validator.servlet.Main 8888; después, reproduce el informe usando el testCase.txt enlazado y el comando de ApacheBench. Compara las respuestas concurrentes para la detección intermitente de “big5” y el mensaje “Unmappable byte sequence”. Se considera terminado cuando las validaciones concurrentes repetidas producen una detección de caracteres predecible sin el resultado esporádico.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

When validating multiple files in concurrency, the encoding detection is not always predictable.
The easiest way to explain is probably to reproduce my test case:

  • launch the validation server (15.6.29)
java -cp vnu.jar nu.validator.servlet.Main 8888

ab -T"text/html; encoding=utf-8" -p testCase.txt -c 100 -n 10000 -v 4 http://localhost:8888/?out=json | grep Unmappable

You should obtain some results of the form (if not, try to restart the server and re-validate):

{"messages":[{"type":"info","message":"The Content-Type was “text/html”. Using the HTML parser."},{"type":"error","message":"The character encoding was not declared. Proceeding using “big5”."},{"type":"error","lastLine":7,"lastColumn":47,"message":"Unmappable byte sequence: “c2”, “a0”."},{"type":"info","message":"Using the schema for HTML5 + SVG 1.1 + MathML 3.0 + RDFa Lite 1.1."}]}

As you can see, the detected encoding is sometimes "big5", but only once or twice among thousands... hence the unpredictability.
When this encoding is detected, the unbreakable space triggers the "Unmappable byte sequence" error.

I think the charset detection should be predictable.
My test demonstrate it is not.

Regards

Lenguaje dominante
Java
Estrellas
65
Forks
29
Merge medio
11 d 21 h
PR fusionados (30 d)
3

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de validator/htmlparser

Todos los issues de validator/htmlparser

Issues similares

Más issues de Java

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.