perf: page faults on fresh decode buffers cost as much CPU as decoding large columns
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- rust
- Ambito
- performance
Direzione di ricerca
Start from LanceBuffer allocation and the decode path that builds Arrow output buffers per batch; reproduce the scan benchmark from the issue and profile page faults. Compare reusing decode output buffers across batches against backing large allocations with madvise(MADV_HUGEPAGE), using #10524 for the environment-variable context. Done means the scan shows the reported CPU/page-fault reduction without requiring users to set allocator tunables.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Observation
Decoding writes every batch into freshly allocated buffers, and for large columns the first-touch page faults cost as much CPU as the decode itself. Scan of two fragments (50k rows, 11 GB of Arrow output) of 180 KB JSON strings, 64-core Zen 4, page cache warm, glibc malloc (pylance uses the system allocator):
| wall | CPU | page faults | perf |
|
|---|---|---|---|---|
| 2.2 per-value zstd, default | 7.1 s | 23 s | 5.4 M | 40% ZSTD_decompressSequences, ~45% kernel (clear_highpages, handle_mm_fault, _copy_to_iter) |
same with GLIBC_TUNABLES=glibc.malloc.hugetlb=1 |
2.0 s | 13.6 s | 0.59 M | |
| 2.0 uncompressed, default | 6.9 s | 16 s | ||
| same with hugetlb=1 | 2.4 s | 6.4 s |
5.4 M faults x 4 KiB is 22 GB for 11 GB of output, i.e. every output byte is faulted about twice (decode buffer, then the Arrow array built from it). MALLOC_MMAP_THRESHOLD_ / MALLOC_TRIM_THRESHOLD_ do not change it; THP does (#10524 documents the env var).
Suggestion
Either back large LanceBuffer allocations with madvise(MADV_HUGEPAGE) (or an allocator that does), or reuse decode output buffers across batches so pages are faulted once per scan instead of once per batch. Both would give the 2-3.5x above without asking users to set allocator tunables.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno