[Feature] Support Mosaic file format

未关闭

#236 创建于 2026年8月22日 0 条评论 0 个 reaction 已指派 1 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 5/5
预计耗时: 一周以上
新手友好度: 35/100

Issue 类型: 功能
描述清晰度: 基本清楚
活跃度: 活跃
技术栈: cpp
领域: databases

调研方向

首先跟踪 Paimon 的 C++ 文件格式 SPI，并将其当前的 schema、reader、writer 和 statistics 处理方式与 Apache Paimon Java 2.0 的 Mosaic 行为进行比较。当 Mosaic 完成注册、支持 projection 和 column-bucket 元数据，并且 C++ round-trip 测试和 Java 生成的兼容性测试通过后，工作即告完成。

由索引模型根据 Issue 内容生成。

描述

enhancement

Search before asking

I searched in the issues and found nothing similar.

Motivation

Apache Paimon Java 2.0 supports Mosaic, a hybrid format designed for wide tables using column bucketing and parallel I/O. Paimon C++ cannot currently access tables using this format.

Solution

Add Mosaic support to the Paimon C++ file-format SPI:

Register the mosaic file-format factory.
Implement compatible schema, reader, writer, and statistics handling.
Support column projection and Mosaic column-bucket metadata.
Add C++ round-trip tests and Java-produced file compatibility tests.

Anything else?

We will also support formats such as Lance and Vortex in the future.

Are you willing to submit a PR?

I'm willing to submit a PR!

主要语言: C++
星标: 65
派生: 29
平均合并: 2 天 30 分钟
30 天内合并 PR: 77

贡献指南

打开贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/paimon-cpp 的其他 Issue

[Feature] dictionary encoded binary support 未关闭

enhancement

apache/paimon-cpp#381 · 已指派 1 人 · 2026年9月21日创建
[Feature] Bypass manifest lists on exact snapshot live-entry cache hits 未关闭

难度 4/5 3-5 天新手友好度 30/100

apache/paimon-cpp#375 · 已指派 1 人 · 2026年9月19日创建
[Feature] Access table data with the temporary credentials issued by the REST catalog 未关闭

enhancement

难度 5/5 一周以上新手友好度 30/100

apache/paimon-cpp#369 · 已指派 1 人 · 2026年9月17日创建
[Feature] Support vector and full-text search in File Index 未关闭

enhancement

难度 5/5 一周以上新手友好度 45/100

apache/paimon-cpp#361 · 已指派 1 人 · 2026年9月16日创建
[Bug] Configured Variant shredding schema without field IDs is rejected unlike Java Paimon 未关闭

bug

难度 4/5 3-5 天新手友好度 68/100

apache/paimon-cpp#347 · 已指派 1 人 · 2026年9月15日创建

查看 apache/paimon-cpp 的全部 Issue

相似的 Issue

[Bug] NULL pointer dereference in llm_running_callback (NGZA-AX-LLM #3) 未关闭

难度 1/5 1 小时以内新手友好度 90/100

AXERA-TECH/ax-llm#77 · 2026年9月22日创建
resume() sends a second HTTP response (400) after a successful resume 未关闭

难度 1/5 1 小时以内新手友好度 90/100

games-on-whales/wolf#509 · 2026年9月21日创建
pn7160: reader goes permanently deaf — post-read IRQ-low check fails reads that succeeded 未关闭

难度 2/5 1-3 小时新手友好度 74/100

esphome/esphome#19452 · 2026年9月21日创建
Eval bug: Ministral-3 tool-calls during reasoning are not processed 未关闭

bug-unconfirmed

难度 2/5 1-3 小时新手友好度 76/100

ggml-org/llama.cpp#29248 · 2026年9月21日创建
run_tests.py fails on windows, but running tests individually works 未关闭

难度 2/5 1-3 小时新手友好度 74/100

NVIDIA/cuda-samples#453 · 2026年9月21日创建

更多 C++ Issue