Writer: compact zstd writes one frame per array; Rust writes 8192 values per frame
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 66/100
Direzione di ricerca
Inizia dal preset compact che chiama ZstdEncodingEncoder.forText() lato Java, dove valuesPerFrame è 0, e confrontalo con il riferimento Rust in vortex-btrblocks/src/schemes/binary/zstd.rs:59, che usa 8192. Verifica il percorso di lettura multi-frame per confermare che i frame vengano suddivisi in base a n_values, e verifica come la regola di chiusura dei frame da 1 GiB di #633 interagisce con la nuova dimensione del frame. Il lavoro è completato quando il preset compact scrive 8192 valori per frame e i test di lettura e round-trip esistenti continuano a passare.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Rust's btrblocks binary zstd scheme compresses with 8192 values per frame (vortex-btrblocks/src/schemes/binary/zstd.rs:59, from_var_bin_view_without_dict(&compacted, 3, 8192, ...)). The Java compact preset uses ZstdEncodingEncoder.forText(), i.e. valuesPerFrame = 0: one frame per array.
Both read back (Rust and Java read multiple frames by n_values), so this is an encoding-parity gap, not a correctness bug. It also means a slice scan of a Java-written compact column decompresses the whole array instead of the frames overlapping its row range.
Since #633, a Java varbin frame also closes before 1 GiB of payload (a Java-only rule that keeps every frame under the reader's 2 GiB per-frame cap); adopting Rust's 8192 values per frame would make that cap rarely matter.
Found while reviewing #633.
- Lingua principale
- Java
- Stelle
- 3
- Fork
- 2
- Merge medio
- 14h 59m
- PR unite (30g)
- 137
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dfa1/vortex-java
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
dfa1/vortex-java#634 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
dfa1/vortex-java#601 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
dfa1/vortex-java#583 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
dfa1/vortex-java#567 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
dfa1/vortex-java#548 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di dfa1/vortex-java
Issue simili
-
Type/Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
ballerina-platform/ballerina-library#9458 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
winder/Universal-G-Code-Sender#3242 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
PCL-Community/PCL-CE#3767 ·
I maintainer di solito rispondono entro 1 giorno
-
#4 Implementar Ninja ServiceAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
-
The register's e-mail column is wider in Firefox, and the fee buttons fall outside the table at 900 pxForse già presa @AlexanderReaper7 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
AlexanderReaper7/teaterihuskvarna#170 ·
I maintainer di solito rispondono entro 2 giorni