Blob v2 raw file reader fails on files with anonymous descriptor child IDs
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
Start by comparing the raw-file reader path in rust/lance-file/src/reader.rs with normalize_blob_footer_schema in rust/lance-file/src/concat.rs, which the issue says is only used by concatenation. Trace how Schema::try_from(&Fields) handles Blob v2 descriptor children with parent_id == -1. Add reader-side normalization for existing files, then cover the C and native writers and readers, both projection modes, NULL and empty rows, an ordinary-column control, and a file from the current writer.
索引モデルが issue の本文から書いたものです。
説明
A v2.2 file with one physical Blob v2 column (3 rows) fails through the ordinary raw-file reader. The failure reproduces with files written by both the C and native Rust writers, and with both the public C FileReader and the direct native Rust FileReader.
Pinned: Lance v14.0.2 (40f15ed1b71b66950961b175829fdf17a763f108).
Symptoms
- Whole-schema projection: the footer reconstructs six top-level fields, giving
[0,5,5,5,5,5]; the reader returnsThe projection specified the column index 5 but there are only 1 columns in the file(rust/lance-file/src/reader.rs:1174). - Explicit
columns=["blob"]: projection[0]passes, but Blob is exposed asStruct([]); consuming the stream returnsStructural validity has 3 entries for an array with 0 values(rust/lance-encoding/src/encodings/logical/primitive/field.rs:874). - An ordinary id column alongside Blob fails analogously with index 6 for two physical columns.
Root cause
Field::unloaded_mut copies the BLOB_V2_DESC_LANCE_FIELD children; their ids and parent_id are -1. The structural writer persists them, and read-side Schema::try_from(&Fields) treats every parent_id == -1 field as a root, so the five descriptor children become orphan top-level fields and the Blob parent loses its children.
normalize_blob_footer_schema handles this shape but is only used by concatenation (rust/lance-file/src/concat.rs:270). Dataset scanning has separate Blob projection handling, so dataset reads pass while the raw-file reader fails.
Requested fix
A reader-side normalization for already-written files. A writer-side ID fix alone cannot repair existing files.
Tests should cover: C and native writers × C and native readers; default and explicit projections; NULL/empty rows; an ordinary-column control; and a pre-existing file produced by the current writer.
Notes
As of lance-format/lance main 58e62bd546081357e2b8966e12ef9bb5c5debbb1 (2026-11-11), the reader path is unchanged and no official fix was found in the checked code.
Reproducer/evidence: lance-format/lance-c#167. Related: lance-format/lance-c#99, lance-format/lance-c#114, lance-format/lance-c#115, lance-format/lance-c#162.
- 主要言語
- Rust
- スター
- 7.3k
- フォーク
- 929
- 平均マージ
- 2日 22時間
- マージ済み PR(30日)
- 572
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
lance-format/lance のほかの issue
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indices対応中かも @Borg93 が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
lance-format/lance#11117 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
lance-format/lance#10782 ·
メンテナーはふだん 2 日以内に返信
-
Upgrade DataFusion for the unparser stack-overflow fix再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
lance-format/lance#8225 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
lance-format/lance#6425 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
Expose compute_pq_distance再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンenhancement
難易度 1/5 1〜3時間 初心者へのやさしさ 62/100
lance-format/lance#5675 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
lance-format/lance の issue をすべて見る
似ている issue
-
area:cli area:security bug priority:medium
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
status: new topic: ga4gh-sdk type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
comp-rbac
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ClickHouse/ClickHouse#131875 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
googleworkspace/cli#984 ·
メンテナーはふだん 1 日以内に返信