Question: Schema evolution interfaces vs. namespace impls — design boundary clarification
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
Direzione di ricerca
Inizia da lance-namespace/src/namespace.rs:399 e dalle route REST in lance-namespace-impls/src/rest.rs:1436, quindi confronta le implementazioni Unity, Glue, Hive, Polaris e Iceberg con l’uso da parte dei motori in lance-spark, lance-ray, Daft e LanceDB. Il lavoro è completo quando il progetto registra una decisione chiara sull’autorità dello schema, sulla responsabilità dell’evoluzione dello schema e sull’adozione prevista da parte dei motori.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Context
After studying the Lance Namespace spec, the implementations in lance-namespace-impls,
and how engines (lance-spark, lance-ray, Daft, LanceDB) consume the interfaces, I'd like
to clarify the design intent around schema-related operations and their role in the
namespace architecture.
Observations
1. External catalog impls don't treat Lance schema as authoritative catalog state
External catalog impls (Unity, Glue, Hive, Polaris, Iceberg in lance-namespace-impls)
handle metadata at different levels:
- Location: all impls persist table location as core catalog state
- Table properties: some impls sync properties to catalog (e.g. Unity stores them in
propertiesmap, Glue inParameters) - Schema: Unity stores columns converted from Lance Arrow schema, but this is a
registration-time snapshot — it's not kept in sync with the actual dataset schema after
subsequent schema evolution operations load_detailed_metadata=true: external impls (Hive2, Iceberg, etc.) explicitly reject
this with "not supported", meaning they cannot return current schema/stats/version from the
catalog — these can only be obtained by opening the Lance dataset
So while some catalog metadata is persisted, the Lance dataset on storage remains the
single source of truth for current schema state.
2. Schema evolution interfaces: spec defines them, but adoption is minimal
The spec defines AlterTableAddColumns, AlterTableAlterColumns, and
AlterTableDropColumns. The current implementation status:
- Core trait: defaults to
not_supportederror (lance-namespace/src/namespace.rs:399) - REST client: has HTTP forwarding/route definitions (
lance-namespace-impls/src/rest.rs:1436) - External catalog impls (Unity, Glue, Hive, Polaris, Iceberg): none implement these
- Engine side: none of lance-spark, lance-ray, Daft, or LanceDB call these namespace
interfaces — all schema changes go through the Lance SDK directly on storage
3. Engine-side usage pattern
From analyzing lance-spark, lance-ray, Daft, and LanceDB source code:
- Namespace interfaces used by engines: primarily metadata (Describe/Declare/List/Drop
Table, Namespace CRUD) plus credential vending - DML via namespace: only Daft (REST path) and LanceDB (QueryTable/CreateTable pushdown)
- Schema evolution, index management via namespace: none — all four engines go through
the Lance SDK directly
Questions
-
Schema as catalog state: Is the current "dataset on storage is the sole authority for
schema" the intended long-term model? Or is there a plan for catalog impls to maintain
synchronized schema state (similar to how Iceberg catalogs track current schema)? -
Schema evolution interfaces: These interfaces exist in the spec and REST client has
forwarding routes, but no external catalog impl has adopted them and no engine calls them.
Are they reserved for future REST-server-side use cases? Or is there a plan for external
impls to implement them as SDK pass-through? -
Engine adoption: Is there a roadmap for engines to start routing schema evolution /
index management through namespace interfaces rather than SDK-direct? Understanding this
helps clarify whether new namespace implementations should prioritize these interfaces.
- Lingua principale
- Java
- Stelle
- 59
- Fork
- 52
- Merge medio
- 19m
- PR unite (30g)
- 1
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance-namespace
-
Avoid generating .iml files when packaging java projects with Intellij IdeaForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
lance-format/lance-namespace#273 ·
-
Do not depend on the lance default featuresForse già presa @valkum l’ha presa 395 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
lance-format/lance-namespace#240 · 1 commento ·
-
reqwest client: use aws-lc-rs instead of ring for TLSForse già presa @emilk l’ha presa 18 giorni fa. Aperta
Difficoltà 3/5 Mezza giornata Idoneità per principianti 45/100
lance-format/lance-namespace#369 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
lance-format/lance-namespace#365 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 64/100
lance-format/lance-namespace#364 ·
Tutte le issue di lance-format/lance-namespace
Issue simili
-
brain bug mod
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
PetitPotam/kindred-spirit#230 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100
humblemuzzu/dumbtv#207 ·
I maintainer di solito rispondono entro 2 giorni
-
0. Needs triage bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
(created by AI, reviewed by me) USB_DEVICE_ATTACHED spawns duplicate MainActivity instead of invoking onNewIntent()Forse già presa @banshee l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
fbreitwieser/thermal-camera-android#11 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
checkstyle/checkstyle#22827 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno