BIT_PACKING is written by default when Definition or Repetition levels are empty
Mantenedores costumam responder em até 4 dias
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 48/100
- Tipo de issue
- Bug
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- java
- Domínio
- data-engineering
Direção de pesquisa
Comece localizando DevNullValuesWriter e inspecionando sua implementação de getEncoding(); em seguida, rastreie como esse valor chega aos metadados da coluna e ao DataPageHeader. Confirme que níveis de repetição e definição vazios não produzem mais a codificação BIT_PACKED obsoleta e, em vez disso, usam RLE.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
As discussed in https://github.com/apache/arrow/discussions/47113 , this package is writing the deprecated BIT_PACKING encoding to the column metadata and the DataPageHeader. This is only seems to happens when rep/def levels are empty. I think this is where it's happening:
public class DevNullValuesWriter extends ValuesWriter {
....
public Encoding getEncoding() {
return BIT_PACKED;
}
}
Wouldn't it make sense to just return RLE?
I've seen this in parquet-java 1.15.1 and Overture Maps files using 1.13.1.
- Linguagem predominante
- Java
- Estrelas
- 3.1k
- Forks
- 1.6k
- Merge médio
- 5d 13h
- PRs com merge (30d)
- 31
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de apache/parquet-java
-
Row-group copying collides for distinct column paths with the same dot stringTalvez já em andamento @costas-db assumiu há 19 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
apache/parquet-java#3829 ·
Mantenedores costumam responder em até 4 dias
-
Binary statistics truncation test ignores its configured truncation lengthTalvez já em andamento @dhruv-15-03 assumiu há 21 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
apache/parquet-java#3820 ·
Mantenedores costumam responder em até 4 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
apache/parquet-java#3767 ·
Mantenedores costumam responder em até 4 dias
-
Remove duplicate LICENSE and NOTICE files from benchmark JARsTalvez já em andamento @efegokdemir assumiu há 24 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
apache/parquet-java#3695 · 1 comentário ·
Mantenedores costumam responder em até 4 dias
-
null_count is omitted for large columns in parquet filesTalvez já em andamento @efegokdemir assumiu há 22 dias. AbertaType: bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
apache/parquet-java#3574 · 1 comentário ·
Mantenedores costumam responder em até 4 dias
Todas as issues de apache/parquet-java
Issues semelhantes
-
False Negative: InnerTypeLastCheck does not report members declared after inner enums or annotationsAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
checkstyle/checkstyle#22027 ·
Mantenedores costumam responder em até 1 dia
-
bug follow-up lane:auto
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100
Sanne/incus-spawn#1497 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100
Mantenedores costumam responder em até 1 dia
-
[CI] NettyClientTest.testServerDisconnection may fail with DisconnectExceptionTalvez já em andamento @yangshangqing95 assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100