`Zlib::GzipReader` doesn't read some large files
まだ誰も着手していません。
評価
調査の方向性
まず、adresses-france.csv.gz に対して Zlib::GzipReader.open を使って報告を再現し、その出力を gzip コマンドラインの結果と比較します。この挙動が圧縮ファイルに固有のものなのか、大きなファイルの読み取りに固有のものなのかを確認します。完全な展開済みコンテンツが返されない理由を特定できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi.
I have to inflate a .csv.gz file which should return a 4 GB CSV with 25 million rows.
When I use an app or the gzip command line, I get the full file without issue.
When I use Zlib::GzipReader, only the first row is returned.
> Zlib::GzipReader.open("adresses-france.csv.gz") { |gz| print gz.read }
id;id_fantoir;numero;rep;nom_voie;code_postal;code_insee;nom_commune;code_insee_ancienne_commune;nom_ancienne_commune;x;y;lon;lat;type_position;alias;nom_ld;libelle_acheminement;nom_afnor;source_position;source_nom_voie;certification_commune;cad_parcelles
=> nil
The file is provided by the french government:
- the directory: https://adresse.data.gouv.fr/data/ban/adresses/latest/csv
- the file: https://adresse.data.gouv.fr/data/ban/adresses/latest/csv/adresses-france.csv.gz
There are many other files in the directory (for each region) but I cannot reproduce the issue with other files.
This service also provided a similar file in Addok format (https://adresse.data.gouv.fr/data/ban/adresses/latest/addok/adresses-addok-france.ndjson.gz) which should return a 3GB file with 2 million rows, but only the 25k first rows are returned by Zlib::GzipReader.
Is there any limit to what Zlib can support ? (size, rows, ..)
Does it come from the compressed file ?
- 主要言語
- C
- スター
- 73
- フォーク
- 40
- 平均マージ
- 10時間 32分
- マージ済み PR（30日）
- 2
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ruby/zlib のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 72/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 42/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
duckdb/duckdb-wasm#2258 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
rofl0r/microsocks#110 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
espressif/esp-aws-iot#261 ·
-
os:linux
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
mpv-player/mpv#18510 · コメント 2 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100