Blob v2 raw file reader fails on files with anonymous descriptor child IDs
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 47/100
Direzione di ricerca
Start by comparing the raw-file reader path in rust/lance-file/src/reader.rs with normalize_blob_footer_schema in rust/lance-file/src/concat.rs, which the issue says is only used by concatenation. Trace how Schema::try_from(&Fields) handles Blob v2 descriptor children with parent_id == -1. Add reader-side normalization for existing files, then cover the C and native writers and readers, both projection modes, NULL and empty rows, an ordinary-column control, and a file from the current writer.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
A v2.2 file with one physical Blob v2 column (3 rows) fails through the ordinary raw-file reader. The failure reproduces with files written by both the C and native Rust writers, and with both the public C FileReader and the direct native Rust FileReader.
Pinned: Lance v14.0.2 (40f15ed1b71b66950961b175829fdf17a763f108).
Symptoms
- Whole-schema projection: the footer reconstructs six top-level fields, giving
[0,5,5,5,5,5]; the reader returnsThe projection specified the column index 5 but there are only 1 columns in the file(rust/lance-file/src/reader.rs:1174). - Explicit
columns=["blob"]: projection[0]passes, but Blob is exposed asStruct([]); consuming the stream returnsStructural validity has 3 entries for an array with 0 values(rust/lance-encoding/src/encodings/logical/primitive/field.rs:874). - An ordinary id column alongside Blob fails analogously with index 6 for two physical columns.
Root cause
Field::unloaded_mut copies the BLOB_V2_DESC_LANCE_FIELD children; their ids and parent_id are -1. The structural writer persists them, and read-side Schema::try_from(&Fields) treats every parent_id == -1 field as a root, so the five descriptor children become orphan top-level fields and the Blob parent loses its children.
normalize_blob_footer_schema handles this shape but is only used by concatenation (rust/lance-file/src/concat.rs:270). Dataset scanning has separate Blob projection handling, so dataset reads pass while the raw-file reader fails.
Requested fix
A reader-side normalization for already-written files. A writer-side ID fix alone cannot repair existing files.
Tests should cover: C and native writers × C and native readers; default and explicit projections; NULL/empty rows; an ordinary-column control; and a pre-existing file produced by the current writer.
Notes
As of lance-format/lance main 58e62bd546081357e2b8966e12ef9bb5c5debbb1 (2026-11-11), the reader path is unchanged and no official fix was found in the checked code.
Reproducer/evidence: lance-format/lance-c#167. Related: lance-format/lance-c#99, lance-format/lance-c#114, lance-format/lance-c#115, lance-format/lance-c#162.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno