Compression ratio degraded for repeated INT64 columns in parquet
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Bug
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- java
- Domínio
- performance
Direção de pesquisa
The report links a Parquet file and says compression worsens when writing it with Snappy versions newer than 1.1.2.6. Start by reproducing the compression-ratio comparison with the linked file and versions, then trace the compressor path used for repeated INT64 values. Done means identifying and verifying the cause of the ratio drop; the issue does not name files or tests to start from.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
When testing upgrade to spark 3.1.1 I've noticed the compression of repeated INT64 columns compression got worse.
Reading this file saved with snappy 1.1.2.6, and writing it with higher version results in compression ratio dropping from 2.05 to 1.26
Any snappy-version higher than 1.1.2.6 reproduced this issue.
- Linguagem predominante
- Java
- Estrelas
- 1.1k
- Forks
- 261
- Merge médio
- 2min
- PRs com merge (30d)
- 2
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de xerial/snappy-java
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
xerial/snappy-java#658 · 3 comentários · 1 reação ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 56/100
xerial/snappy-java#607 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
xerial/snappy-java#604 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
xerial/snappy-java#603 · 3 comentários ·
-
Snappy error on Mac OS Ventura: "no native library is found for os.name=Mac and os.arch=aarch64"Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
xerial/snappy-java#573 · 1 reação ·
Todas as issues de xerial/snappy-java
Issues semelhantes
-
hermes-queue
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 85/100
chrisalunlloyd2-sudo/mindpalace#403 ·
Mantenedores costumam responder em até 1 dia
-
triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
xerial/sqlite-jdbc#1515 ·
Mantenedores costumam responder em até 1 dia
-
Area/Configuration Type/Improvement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
ballerina-platform/static-code-analysis-tool#217 ·
Mantenedores costumam responder em até 1 dia
-
SequenceEncoder: a value ending with a backslash swallows the tokens after it (“No state for trait”)Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 80/100
vassalengine/vassal#15337 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
eclipse-dirigible/dirigible#8636 · 1 comentário ·
Mantenedores costumam responder em até 1 dia