perf: writer emits one page per inserted array for large per-value values (multi-GB pages, single-threaded compression)
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Ambito
- performance
Direzione di ricerca
Begin in the Rust writer at AccumulationQueue::insert_with_pages, examining how maybe_encode keeps one RepDefBuilder per array. Run the Python repro to confirm a single multi-GB page in metadata. Done means an inserted array over max_page_bytes splits into multiple bounded pages, each compressed in parallel, as checked by the page size list in the repro.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
For variable-width values above 32 KiB the structural primitive encoder's accumulation queue (AccumulationQueue::insert_with_pages) emits at most one page boundary per inserted array. An array larger than max_page_bytes (32 MiB) becomes a single page of whatever size the caller handed in. Writing a column of 180 KB JSON strings from one 25k-row batch produces one 4.5 GB full-zip page per column; from 2 048-row batches it produces 370 MB pages.
Consequences measured on a 64-core box (lance 15.0.0-beta.7 main at bf867011a):
- Write parallelism is one task per page, so the 11 GB column pair of two fragments compressed on 1.2 cores for 42 s (
perf: 60% inZSTD_compressBlock_doubleFaston a singlelance-cputhread); a 156 GB table rewrite to 2.2 took 553 s. Chunking the per-value loop inside the page (#10531) is a mitigation: the page is still 4.5 GB. - Readers must handle multi-gigabyte pages: #10160 / #10168 add chunked loads for exactly these oversized full-zip pages.
LANCE_FILE_WRITER_MAX_PAGE_BYTEShas no effect on such columns.
#8405 tried to split oversized primitive batches into row-aligned pages and was closed; the repdef/validity bookkeeping per slice is the hard part, since maybe_encode keeps one RepDefBuilder per inserted array.
Expected
An inserted array larger than max_page_bytes is split at value boundaries into several pages, each encoded by its own task, so page size is bounded by the writer option and compression parallelism follows from the page count.
Repro
import lance, pyarrow as pa
tbl = pa.table({"v": pa.array(["x" * 180_000] * 25_000, pa.large_string())})
lance.write_dataset(tbl, "/tmp/big", data_storage_version="2.2")
from lance.file import LanceFileReader
m = LanceFileReader("/tmp/big/data/" + lance.dataset("/tmp/big").get_fragments()[0].metadata.files[0].path).metadata()
print([sum(b.size for b in p.buffers) for p in m.columns[0].pages]) # one ~4.5 GB page
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno