`Zlib::GzipReader` doesn't read some large files
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
Línea de trabajo
Empieza reproduciendo el informe con Zlib::GzipReader.open sobre adresses-france.csv.gz y compara su salida con el resultado del comando gzip. Comprueba si el comportamiento es específico del archivo comprimido o de la lectura de archivos grandes; se considera terminado cuando se haya identificado por qué no se devuelve todo el contenido descomprimido.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi.
I have to inflate a .csv.gz file which should return a 4 GB CSV with 25 million rows.
When I use an app or the gzip command line, I get the full file without issue.
When I use Zlib::GzipReader, only the first row is returned.
> Zlib::GzipReader.open("adresses-france.csv.gz") { |gz| print gz.read }
id;id_fantoir;numero;rep;nom_voie;code_postal;code_insee;nom_commune;code_insee_ancienne_commune;nom_ancienne_commune;x;y;lon;lat;type_position;alias;nom_ld;libelle_acheminement;nom_afnor;source_position;source_nom_voie;certification_commune;cad_parcelles
=> nil
The file is provided by the french government:
- the directory: https://adresse.data.gouv.fr/data/ban/adresses/latest/csv
- the file: https://adresse.data.gouv.fr/data/ban/adresses/latest/csv/adresses-france.csv.gz
There are many other files in the directory (for each region) but I cannot reproduce the issue with other files.
This service also provided a similar file in Addok format (https://adresse.data.gouv.fr/data/ban/adresses/latest/addok/adresses-addok-france.ndjson.gz) which should return a 3GB file with 2 million rows, but only the 25k first rows are returned by Zlib::GzipReader.
Is there any limit to what Zlib can support ? (size, rows, ..)
Does it come from the compressed file ?
- Lenguaje dominante
- C
- Estrellas
- 73
- Forks
- 40
- Merge medio
- 10 h 32 min
- PR fusionados (30 d)
- 2
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ruby/zlib
-
Dificultad 3/5 1-2 días Aptitud para principiantes 72/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 42/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
Issues similares
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 60/100
-
Nmap
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
flang:fir-hlfir
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
llvm/llvm-project#225935 ·