[CORE] LocalFilesNode rebuilds the file schema for every file in a split

Aperta
#13,698 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

@LuciferYang ci sta già lavorando.

Dal 20/11/2026.

  • #13699 di @LuciferYang — aperta

Valutazione

Difficoltà
3/5
Tempo stimato
Mezza giornata
Idoneità per principianti
55/100
Tipo di issue
Refactoring
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
scala
Ambito
performance

Direzione di ricerca

Start from LocalFilesNode.toProtobuf and trace where the split-level schema is available before the per-file loop. Check the Velox ORC/DWRF scan path and the Parquet path controlled by spark.gluten.sql.columnar.backend.velox.parquetUseColumnNames, since the issue says they always set this schema. Done means the NamedStruct is built once per split, scans still receive the correct schema, and a wide ORC split no longer repeats the conversion per file.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

LocalFilesNode.toProtobuf builds the file schema as a Substrait NamedStruct once for every file in the split, although all files in a split share the same schema. The Velox backend always sets this schema for ORC and DWRF scans, and for Parquet when spark.gluten.sql.columnar.backend.velox.parquetUseColumnNames is off, so every task of a small-file scan with a wide schema repeats the type conversion per file. For an ORC split of 128 files and 200 columns, toProtobuf takes about 16.7 ms.

The schema can be built once per split.

This issue was written with the assistance of AI (Claude Opus).

Lingua principale
Scala
Stelle
1.6k
Fork
679
Merge medio
4g 16h
PR unite (30g)
84

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/gluten

Tutte le issue di apache/gluten

Issue simili

Altre issue su Scala

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.