Importers return the WriteSummary of the file they write
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Facilidade para iniciantes
- 72/100
Direção de pesquisa
Read VortexWriter.finish() and the listed importer methods in ParquetImporter, CsvImporter, and JdbcImporter to trace how each writes its output. Start with the Parquet importer and the vortex-jni cross-check described in the issue, then add coverage for the other importers. Done means each importer returns its WriteSummary, and the Parquet summary matches the file's size, row count, and per-column statistics.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Follow-up to #664. VortexWriter.finish() returns a WriteSummary (file size, row count, per-column compressed size and statistics), but every importer drops it and returns void:
ParquetImporter.importParquet(Path|URI, Path[, ImportOptions])CsvImporter.importCsv(Path|URI, Path[, ImportOptions])JdbcImporter.importTable(...)/importQuery(...)
So a caller that wants the size or statistics of what it just imported has to open the file again. The CLI's vortex import and scripts/RaincloudCompare.java both reopen files for exactly this.
Proposal: each importer returns the WriteSummary from finish(). Going from void to a return value is source-compatible for callers. A URI import that reads the source remotely still writes a local file, so it returns the summary the same way.
What it enables:
RaincloudComparecan report per-column Java vs Rust sizes without reopening files (vortex-jni's writer already returnsVortexWriteSummary). That per-column breakdown is what traced #722, #723 and #724.vortex importcan print each column's compressed size.
Test: a vortex-jni cross-check that a Parquet import's returned summary matches what vortex-jni reads back from the file (fileSize, row count, per-column statistics), plus unit tests per importer.
- Linguagem predominante
- Java
- Estrelas
- 3
- Forks
- 2
- Merge médio
- 9h 19min
- PRs com merge (30d)
- 154
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de dfa1/vortex-java
-
good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
dfa1/vortex-java#738 ·
Mantenedores costumam responder em até 1 dia
-
good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
dfa1/vortex-java#737 ·
Mantenedores costumam responder em até 1 dia
-
good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
dfa1/vortex-java#736 ·
Mantenedores costumam responder em até 1 dia
-
help wanted project
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
dfa1/vortex-java#729 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100
dfa1/vortex-java#723 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de dfa1/vortex-java
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 80/100
finos/fluxnova-bpm-platform#387 ·
Mantenedores costumam responder em até 4 dias
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
-
Dificuldade 2/5 Menos de uma hora Facilidade para iniciantes 84/100
cpp-best-practices/project_validator#251 ·
Mantenedores costumam responder em até 1 dia
-
backend enhancement
Dificuldade 2/5 Meio dia Facilidade para iniciantes 70/100
damodharg6/payledger#16 ·
-
[Bug]: An initiative list with no current entry logs an error on every changeTalvez já em andamento @dwizard0 assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
Mantenedores costumam responder em até 1 dia