GzipReader's encoding conversion behaves differently from IO

Abierto
#166 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 2 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
25/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Activo
Stack tecnológico
c, ruby
Área
backend

Línea de trabajo

This reports encoding-conversion mismatches between Zlib::GzipReader and IO, with three reproducible examples in the issue body. Start by finding where GzipReader applies external_encoding/internal_encoding in the C extension (ext/zlib/zlib.c) and compare with how io.c handles conversion errors and the gets limit. Note the maintainer is unsure whether fixing is desirable due to compatibility concerns, so the first step is discussing intended behavior before any patch; 'done' is a maintainer decision plus, if agreed, matching IO semantics with tests covering the three cases.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

When external_encoding/internal_encoding are given, Zlib::GzipReader converts the data differently from IO in a few ways. Fixing them could be incompatible, so I'm not sure whether they are worth fixing. I'm opening this issue for now.

  1. A conversion error is ignored, and the data is returned as is.

    # "a" in UTF-16BE followed by one extra byte
    gz = Zlib.gzip("\x00a\x00".b)
    o = {external_encoding: "UTF-16BE", internal_encoding: "UTF-8"}
    Zlib::GzipReader.new(StringIO.new(gz), **o).read
    #=> "\x00a\x00" (not converted)
    # IO#read raises Encoding::InvalidByteSequenceError
    

    With a dummy encoding such as UTF-16 (with BOM), getc returns "" and the extra byte is lost:

    gz = Zlib.gzip("\xFE\xFF\x00a\x00".b)
    o = {external_encoding: "UTF-16", internal_encoding: "UTF-8"}
    g = Zlib::GzipReader.new(StringIO.new(gz), **o)
    3.times.map { g.getc } #=> ["a", "", nil]
    
  2. The limit of gets is counted in bytes before conversion, while IO counts it after conversion.

    s = ("\x82\xa0" * 3 + "\n").b # "あああ\n" in Shift_JIS
    o = {external_encoding: "Shift_JIS", internal_encoding: "UTF-8"}
    Zlib::GzipReader.new(StringIO.new(Zlib.gzip(s)), **o).gets(3) #=> "ああ"
    # File#gets(3) with the same options returns "あ"
    
Lenguaje dominante
C
Estrellas
73
Forks
43
Merge medio
4 d 18 min
PR fusionados (30 d)
12

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ruby/zlib

Todos los issues de ruby/zlib

Issues similares

Más issues de C

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.