Compression ratio degraded for repeated INT64 columns in parquet
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- java
- Área
- performance
Línea de trabajo
The report links a Parquet file and says compression worsens when writing it with Snappy versions newer than 1.1.2.6. Start by reproducing the compression-ratio comparison with the linked file and versions, then trace the compressor path used for repeated INT64 values. Done means identifying and verifying the cause of the ratio drop; the issue does not name files or tests to start from.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When testing upgrade to spark 3.1.1 I've noticed the compression of repeated INT64 columns compression got worse.
Reading this file saved with snappy 1.1.2.6, and writing it with higher version results in compression ratio dropping from 2.05 to 1.26
Any snappy-version higher than 1.1.2.6 reproduced this issue.
- Lenguaje dominante
- Java
- Estrellas
- 1.1k
- Forks
- 261
- Merge medio
- 2 min
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de xerial/snappy-java
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
xerial/snappy-java#658 · 3 comentarios · 1 reacción ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 56/100
xerial/snappy-java#607 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
xerial/snappy-java#604 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
xerial/snappy-java#603 · 3 comentarios ·
-
Snappy error on Mac OS Ventura: "no native library is found for os.name=Mac and os.arch=aarch64"Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
xerial/snappy-java#573 · 1 reacción ·
Todos los issues de xerial/snappy-java
Issues similares
-
triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
xerial/sqlite-jdbc#1515 ·
Los mantenedores suelen responder en 1 día
-
Area/Configuration Type/Improvement
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ballerina-platform/static-code-analysis-tool#217 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
eclipse-dirigible/dirigible#8636 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug severity-medium XS
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
nikolas-charalambidis/facepalm-maven-plugin#291 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
OakLoaf/PluginUpdater#264 ·
Los mantenedores suelen responder en 1 día