GzipReader's encoding conversion behaves differently from IO

Đang mở
#166 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Sôi nổi
Công nghệ
c, ruby
Lĩnh vực
backend

Hướng nghiên cứu

This reports encoding-conversion mismatches between Zlib::GzipReader and IO, with three reproducible examples in the issue body. Start by finding where GzipReader applies external_encoding/internal_encoding in the C extension (ext/zlib/zlib.c) and compare with how io.c handles conversion errors and the gets limit. Note the maintainer is unsure whether fixing is desirable due to compatibility concerns, so the first step is discussing intended behavior before any patch; 'done' is a maintainer decision plus, if agreed, matching IO semantics with tests covering the three cases.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

When external_encoding/internal_encoding are given, Zlib::GzipReader converts the data differently from IO in a few ways. Fixing them could be incompatible, so I'm not sure whether they are worth fixing. I'm opening this issue for now.

  1. A conversion error is ignored, and the data is returned as is.

    # "a" in UTF-16BE followed by one extra byte
    gz = Zlib.gzip("\x00a\x00".b)
    o = {external_encoding: "UTF-16BE", internal_encoding: "UTF-8"}
    Zlib::GzipReader.new(StringIO.new(gz), **o).read
    #=> "\x00a\x00" (not converted)
    # IO#read raises Encoding::InvalidByteSequenceError
    

    With a dummy encoding such as UTF-16 (with BOM), getc returns "" and the extra byte is lost:

    gz = Zlib.gzip("\xFE\xFF\x00a\x00".b)
    o = {external_encoding: "UTF-16", internal_encoding: "UTF-8"}
    g = Zlib::GzipReader.new(StringIO.new(gz), **o)
    3.times.map { g.getc } #=> ["a", "", nil]
    
  2. The limit of gets is counted in bytes before conversion, while IO counts it after conversion.

    s = ("\x82\xa0" * 3 + "\n").b # "あああ\n" in Shift_JIS
    o = {external_encoding: "Shift_JIS", internal_encoding: "UTF-8"}
    Zlib::GzipReader.new(StringIO.new(Zlib.gzip(s)), **o).gets(3) #=> "ああ"
    # File#gets(3) with the same options returns "あ"
    
Ngôn ngữ chính
C
Star
73
Fork
43
Merge trung bình
4 ngày 18 phút
Pull request đã merge (30 ngày)
12

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ruby/zlib

Tất cả issue của ruby/zlib

Issue tương tự

Thêm issue về C

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.