Compression ratio degraded for repeated INT64 columns in parquet

Aberta
#281 1 comentário 1 reação 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
35/100
Tipo de issue
Bug
Clareza
Razoavelmente clara
Status de atividade
Estagnada
Stack de tecnologia
java
Domínio
performance

Direção de pesquisa

The report links a Parquet file and says compression worsens when writing it with Snappy versions newer than 1.1.2.6. Start by reproducing the compression-ratio comparison with the linked file and versions, then trace the compressor path used for repeated INT64 values. Done means identifying and verifying the cause of the ratio drop; the issue does not name files or tests to start from.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

help wanted

When testing upgrade to spark 3.1.1 I've noticed the compression of repeated INT64 columns compression got worse.

https://stackoverflow.com/questions/67413589/parquet-compression-degradation-when-upgrading-spark/67455721#67455721

Reading this file saved with snappy 1.1.2.6, and writing it with higher version results in compression ratio dropping from 2.05 to 1.26
Any snappy-version higher than 1.1.2.6 reproduced this issue.

Linguagem predominante
Java
Estrelas
1.1k
Forks
261
Merge médio
2min
PRs com merge (30d)
2

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de xerial/snappy-java

Todas as issues de xerial/snappy-java

Issues semelhantes

Mais issues de Java

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.