GzipReader's encoding conversion behaves differently from IO
Maintainer antworten meist innerhalb von 2 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 25/100
Rechercherichtung
This reports encoding-conversion mismatches between Zlib::GzipReader and IO, with three reproducible examples in the issue body. Start by finding where GzipReader applies external_encoding/internal_encoding in the C extension (ext/zlib/zlib.c) and compare with how io.c handles conversion errors and the gets limit. Note the maintainer is unsure whether fixing is desirable due to compatibility concerns, so the first step is discussing intended behavior before any patch; 'done' is a maintainer decision plus, if agreed, matching IO semantics with tests covering the three cases.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
When external_encoding/internal_encoding are given, Zlib::GzipReader converts the data differently from IO in a few ways. Fixing them could be incompatible, so I'm not sure whether they are worth fixing. I'm opening this issue for now.
-
A conversion error is ignored, and the data is returned as is.
# "a" in UTF-16BE followed by one extra byte gz = Zlib.gzip("\x00a\x00".b) o = {external_encoding: "UTF-16BE", internal_encoding: "UTF-8"} Zlib::GzipReader.new(StringIO.new(gz), **o).read #=> "\x00a\x00" (not converted) # IO#read raises Encoding::InvalidByteSequenceErrorWith a dummy encoding such as UTF-16 (with BOM),
getcreturns""and the extra byte is lost:gz = Zlib.gzip("\xFE\xFF\x00a\x00".b) o = {external_encoding: "UTF-16", internal_encoding: "UTF-8"} g = Zlib::GzipReader.new(StringIO.new(gz), **o) 3.times.map { g.getc } #=> ["a", "", nil] -
The limit of
getsis counted in bytes before conversion, while IO counts it after conversion.s = ("\x82\xa0" * 3 + "\n").b # "あああ\n" in Shift_JIS o = {external_encoding: "Shift_JIS", internal_encoding: "UTF-8"} Zlib::GzipReader.new(StringIO.new(Zlib.gzip(s)), **o).gets(3) #=> "ああ" # File#gets(3) with the same options returns "あ"
- Vorherrschende Sprache
- C
- Sterne
- 73
- Forks
- 43
- Ø Merge
- 4 T. 18 Min.
- Gemergte PRs (30 T.)
- 12
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus ruby/zlib
-
`Zlib::Deflate#params` segfaults when called before any output buffer existsEvtl. vergeben @SAY-5 hat das vor 85 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
Maintainer antworten meist innerhalb von 2 Tagen
-
GzipReader: gets sometimes returns incomplete multi-byte charactersEvtl. vergeben @segiddins hat das vor 22 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 42/100
Maintainer antworten meist innerhalb von 2 Tagen
-
GzipReader: internal_encoding option overwrites external_encodingEvtl. vergeben @segiddins hat das vor 22 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
Maintainer antworten meist innerhalb von 2 Tagen
Ähnliche Issues
-
HTTP Request Smuggling: non-final chunked Transfer-Encoding not rejected (CWE-444)Evtl. vergeben @code1a2024 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
jaredgei/wow-forever-android#97 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 80/100
openziti/ziti-sdk-c#1254 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
flatpak/xdg-desktop-portal#2215 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
http_fetch tests: the two no-child rows fail, not skip, where a task's children file does not existEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offenarea:http kind:gate-defect
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
InauguralSystems/EigenScript#2397 ·
Maintainer antworten meist innerhalb von 1 Tag