feat: add Tencent GooseFS Table Master namespace implementation (Python)
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Confronta le implementazioni esistenti di Hive, Glue, Iceberg, Polaris e Unity prima di lavorare nel pacchetto Python lance-namespace-impls. Esamina python/pyproject.toml, python/tests/test_goosefs.py, python/tests/test_goosefs_integration.py, docs/src/goosefs.md e docs/src/.pages; il lavoro è completo quando la registrazione di GooseFS, le operazioni, il packaging, la documentazione, il linting, i test unitari e i controlli di integrazione sono completati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
Add a new Lance Namespace implementation backed by Tencent Cloud GooseFS Table Master to the Python lance-namespace-impls package.
GooseFS Table Master is a Lance-native metadata service exposed over gRPC. Unlike general-purpose catalogs (Hive, Glue, Iceberg, Polaris, Unity), it is purpose-built for Lance — every registered table is a Lance table, so no table_type=lance marker filtering is required on the client side.
The new implementation acts as a thin pass-through layer that translates each Lance Namespace request into the corresponding *PRequest defined in the GooseFS Table Master gRPC schema and forwards it through the official goosefs-metastore-client library.
Motivation
- Provide first-class Lance Namespace support for users running Lance on top of Tencent Cloud GooseFS / COS.
- Cover the full Lance Namespace surface (basic CRUD + advanced operations such as indexing, tags, versioning, and transactions) without the overhead of mapping into a generic catalog model.
- Match the integration pattern already established for Hive, Glue, Iceberg, Polaris, and Unity.
Scope
Core implementation
- New
GooseFSNamespaceclass registered as"goosefs"inLanceNamespaces - 2-level namespace hierarchy (
database>table); identifier is forwarded verbatim to the Table Master - Configurable connection (
uri/host/port/timeout/max_retries), authentication (authentication_enabled/username/impersonation_user), and namespace-level defaults (manifest_enabled/dir_listing_enabled)
Operations covered
- Namespace: Create / List / Describe / Drop / Exists
- Table: Create / CreateEmpty / Declare / Register / List / Describe / Drop / Deregister / Exists / Rename
- Data plane: Insert / MergeInsert / Delete / Update / Query / CountRows
- Schema evolution: AddColumns / AlterColumns / DropColumns / UpdateSchemaMetadata
- Indexing: CreateIndex / CreateScalarIndex / ListIndices / DescribeIndexStats / DropIndex
- Tags & versioning: Create/Update/Delete/List/Get tag, Create/List/Describe version, Restore, plus Batch variants
- Transactions & query planning: AlterTransaction / DescribeTransaction / ExplainQueryPlan / AnalyzeQueryPlan / GetTableStats
Packaging & build
- New optional extra
goosefsinpython/pyproject.toml(goosefs-metastore-client==0.1.7,grpcio>=1.78,grpcio-status>=1.78) - New Makefile targets:
lint-goosefs,install-goosefs,test-goosefs,integ-test-goosefs - Unit tests:
python/tests/test_goosefs.py - Integration tests:
python/tests/test_goosefs_integration.py
Documentation
- New page
docs/src/goosefs.mddescribing background, configuration properties, object mapping, Lance-table identification, and per-operation semantics docs/src/.pagesupdated to includeTencent GooseFS: goosefs.mdin the navigation
Out of Scope
- A Java implementation — this PR only adds the Python binding. A Java counterpart can be added in a follow-up if there is demand.
- Bundling the GooseFS gRPC
.protofiles in this repo; they continue to ship insidegoosefs-metastore-client.
Verification
ruff format --checkandruff checkpass on the new files and across the wholepython/treepython -m compileallsucceeds forsrc/andtests/- Unit tests in
tests/test_goosefs.pypass with thegoosefsextra installed - Integration tests in
tests/test_goosefs_integration.pypass against a live GooseFS Table Master (skipped automatically when the service is not reachable)
- Lingua principale
- Java
- Stelle
- 14
- Fork
- 16
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance-namespace-impls
-
Bug: Unity tables not parsedAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
lance-format/lance-namespace-impls#186 · 1 commento ·
-
Catalog impls access request fields as attributes but pylance's Rust bridge passes a DictWithModelDump (AttributeError on describe_table write path)Forse già presa @ZackFairTS l’ha presa 104 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 58/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Tutte le issue di lance-format/lance-namespace-impls
Issue simili
-
brain bug mod
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
PetitPotam/kindred-spirit#230 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100
humblemuzzu/dumbtv#207 ·
I maintainer di solito rispondono entro 2 giorni
-
0. Needs triage bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
(created by AI, reviewed by me) USB_DEVICE_ATTACHED spawns duplicate MainActivity instead of invoking onNewIntent()Forse già presa @banshee l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
fbreitwieser/thermal-camera-android#11 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
checkstyle/checkstyle#22827 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno