Importers return the WriteSummary of the file they write
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 72/100
Línea de trabajo
Read VortexWriter.finish() and the listed importer methods in ParquetImporter, CsvImporter, and JdbcImporter to trace how each writes its output. Start with the Parquet importer and the vortex-jni cross-check described in the issue, then add coverage for the other importers. Done means each importer returns its WriteSummary, and the Parquet summary matches the file's size, row count, and per-column statistics.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Follow-up to #664. VortexWriter.finish() returns a WriteSummary (file size, row count, per-column compressed size and statistics), but every importer drops it and returns void:
ParquetImporter.importParquet(Path|URI, Path[, ImportOptions])CsvImporter.importCsv(Path|URI, Path[, ImportOptions])JdbcImporter.importTable(...)/importQuery(...)
So a caller that wants the size or statistics of what it just imported has to open the file again. The CLI's vortex import and scripts/RaincloudCompare.java both reopen files for exactly this.
Proposal: each importer returns the WriteSummary from finish(). Going from void to a return value is source-compatible for callers. A URI import that reads the source remotely still writes a local file, so it returns the summary the same way.
What it enables:
RaincloudComparecan report per-column Java vs Rust sizes without reopening files (vortex-jni's writer already returnsVortexWriteSummary). That per-column breakdown is what traced #722, #723 and #724.vortex importcan print each column's compressed size.
Test: a vortex-jni cross-check that a Parquet import's returned summary matches what vortex-jni reads back from the file (fileSize, row count, per-column statistics), plus unit tests per importer.
- Lenguaje dominante
- Java
- Estrellas
- 3
- Forks
- 2
- Merge medio
- 9 h 19 min
- PR fusionados (30 d)
- 154
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dfa1/vortex-java
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
dfa1/vortex-java#738 ·
Los mantenedores suelen responder en 1 día
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
dfa1/vortex-java#737 ·
Los mantenedores suelen responder en 1 día
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
dfa1/vortex-java#736 ·
Los mantenedores suelen responder en 1 día
-
explore ADBC driver for vortexAbiertohelp wanted project
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
dfa1/vortex-java#729 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
dfa1/vortex-java#723 ·
Los mantenedores suelen responder en 1 día
Todos los issues de dfa1/vortex-java
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
-
Dificultad 2/5 Menos de una hora Aptitud para principiantes 84/100
cpp-best-practices/project_validator#251 ·
Los mantenedores suelen responder en 1 día
-
backend enhancement
Dificultad 2/5 Medio día Aptitud para principiantes 70/100
damodharg6/payledger#16 ·
-
[Bug]: An initiative list with no current entry logs an error on every changePosiblemente ocupada @dwizard0 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día