Parquet export fails on a Decimal column
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 70/100
- Tipo de issue
- Bug
- Clareza
- Claramente especificada
- Status de atividade
- Ativa
- Stack de tecnologia
- java
- Domínio
- data-engineering
Direção de pesquisa
The failure is raised in ParquetExporter.addColumn at ParquetExporter.java:169, which rejects Decimal columns with a STRUCT/LIST/MAP message. Read the Parquet import side that #628 changed to see how DECIMAL is mapped to Vortex, then mirror that mapping on export. Done when exporting a Decimal[precision=15, scale=2] column writes a Parquet DECIMAL(15,2) column and re-importing it gives the same type.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Following #628 (Parquet import reads `DECIMAL` as a Vortex decimal), the export side does not write one back:
```
vortex export lineitem.vortex out.parquet
UnsupportedOperationException: unsupported column type for Parquet export (STRUCT/LIST/MAP not yet supported): Decimal[precision=15, scale=2, nullable=false] (column: l_quantity)
at ParquetExporter.addColumn(ParquetExporter.java:169)
```
Repro: import any Parquet file with a `DECIMAL` column (e.g. TPC-H sf1 `lineitem` from `tpchgen-cli`), then export the result to `.parquet`. CSV export of the same file works.
Expected: a `DECIMAL(precision, scale)` column written with the matching Parquet physical type and logical annotation, so the import to export round trip is lossless. The message also names STRUCT/LIST/MAP, which is misleading for a decimal.
Found verifying the Snappy fix (#645).
- Linguagem predominante
- Java
- Estrelas
- 3
- Forks
- 2
- Merge médio
- 9h 51min
- PRs com merge (30d)
- 127
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de dfa1/vortex-java
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
dfa1/vortex-java#636 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
dfa1/vortex-java#657 ·
Mantenedores costumam responder em até 1 dia
-
perf
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
dfa1/vortex-java#651 ·
Mantenedores costumam responder em até 1 dia
-
Writer: string columns written as per-chunk dicts where Rust uses its dict layout (up to 2x larger)Abertaperf
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
dfa1/vortex-java#650 ·
Mantenedores costumam responder em até 1 dia
-
perf
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 28/100
dfa1/vortex-java#649 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de dfa1/vortex-java
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
Dans-Plugins/Medieval-Roleplay-Engine#396 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 82/100
Mantenedores costumam responder em até 1 dia
-
LtByXsl throws NoSuchElementException when defect element has no text contentTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
objectionary/lints#1640 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
virtualcell/vcell#2193 ·
Mantenedores costumam responder em até 1 dia