[Feature] Support Lance file format

Geschlossen

#313 erstellt am 09.9.2026 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 45/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Aktiv
Tech-Stack: cmake, cpp, java, rust
Bereich: data-engineering, databases

Rechercherichtung

Beginne damit, die bestehende Mosaic Rust FFI-Integration und die Lifecycle-Muster zu lesen, vergleiche anschließend das Java-Referenzmodul unter paimon-lance und untersuche die bestehenden Schnittstellen für Dateiformate. Als abgeschlossen gilt die Arbeit, wenn eine optionale, standardmäßig deaktivierte CMake-Integration Lese- und Schreibvorgänge für Lance, erforderliche Projektionen und Zeilenauswahl, Zeilenmetadaten, die Validierung logischer Typen, Round-Trip-Tests sowie Java/C++-Kompatibilitäts-Fixtures unterstützt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Search before asking

I searched in the issues and found nothing similar.

Motivation

Apache Paimon Java supports Lance as a data file format through the paimon-lance module. Paimon C++ currently cannot read or write tables configured with file.format=lance, which prevents Java and C++ engines from interoperating on those tables.

Solution

Add optional Lance file format support to Paimon C++, aligned with the Java implementation and Lance 0.39.0:

register a Lance file format factory behind a disabled-by-default CMake option;
support reading and writing Lance files through the existing file format interfaces;
support column projection, precise row selection, row counts, and file row-id reporting;
validate the same supported and unsupported logical types as Java;
add C++ round-trip tests and Java/C++ compatibility fixtures in both directions.

The implementation should follow the existing Mosaic Rust FFI integration and lifecycle patterns.

Anything else?

Java reference module: https://github.com/apache/paimon/tree/master/paimon-lance

Are you willing to submit a PR?

I am willing to submit a PR!

Vorherrschende Sprache: C++
Sterne: 65
Forks: 29
Ø Merge: 2 T. 11 Std.
Gemergte PRs (30 T.): 79

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/paimon-cpp

[Bug] Flaky SIGSEGV in VariantParquetTest: Arrow IO thread frees PoolBuffer after the test's memory pool is destroyed Offen

bug

apache/paimon-cpp#385 · 1 zugewiesene Person · Erstellt am 23.9.2026
[Feature] dictionary encoded binary support Offen

enhancement

apache/paimon-cpp#381 · 1 zugewiesene Person · Erstellt am 21.9.2026
[Feature] Bypass manifest lists on exact snapshot live-entry cache hits Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100

apache/paimon-cpp#375 · 1 zugewiesene Person · Erstellt am 19.9.2026
[Feature] Support vector and full-text search in File Index Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 45/100

apache/paimon-cpp#361 · 1 zugewiesene Person · Erstellt am 16.9.2026
[Feature] Support 64-bit deletion vectors in Paimon C++ Offen

enhancement

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

apache/paimon-cpp#325 · 1 zugewiesene Person · Erstellt am 11.9.2026

Alle Issues in apache/paimon-cpp