Support content-defined chunking (CDC) in the Parquet writer

未关闭

#3,817 创建于 2026年9月24日 0 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 5/5
预计耗时: 一周以上
新手友好度: 42/100

Issue 类型: 功能
描述清晰度: 基本清楚
活跃度: 活跃
技术栈: java
领域: data-engineering

调研方向

Start with the Parquet writer and compare the existing CDC implementations in Parquet C++, PyArrow, and parquet-rs referenced in the issue. Define how rolling-hash boundaries use min_chunk_size, max_chunk_size, and norm_level, then verify that the result remains a regular Parquet file with stable pages when rows are inserted or appended.

由索引模型根据 Issue 内容生成。

描述

Describe the enhancement requested

Add content-defined chunking (CDC) to the Parquet writer. It is already available in Parquet C++ (apache/arrow#45750, PyArrow >= 21) and parquet-rs (apache/arrow-rs#9450). With CDC, data page boundaries come from a rolling hash of the column values rather than fixed sizes. Pages then stay stable when rows are inserted or appended, so content-addressable storage (e.g. Hugging Face Xet) can deduplicate them. The output is a regular Parquet file, with no format change.

It would help to use the same parameters as the other implementations:

min_chunk_size (default 256 KiB)
max_chunk_size (default 1 MiB)
norm_level (default 0)

Motivation: Iceberg is adding write.parquet.content-defined-chunking.* table properties (apache/iceberg-rust#2375, apache/iceberg-python#3889). Iceberg Java cannot honor them until parquet-java supports CDC.

Component(s)

Core

主要语言: Java
星标: 3.1k
派生: 1.6k
平均合并: 6 天 44 分钟
30 天内合并 PR: 35

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/parquet-java 的其他 Issue

AvroIndexedRecordConverter resolves aliases before the exact field name 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 68/100

apache/parquet-java#3792 · 2026年9月14日创建
Make PageReader AutoCloseable 未关闭

难度 2/5 1-3 小时新手友好度 82/100

apache/parquet-java#3767 · 2026年9月4日创建
Remove duplicate LICENSE and NOTICE files from benchmark JARs 未关闭

难度 2/5 1-3 小时新手友好度 72/100

apache/parquet-java#3695 · 1 条评论 · 2026年7月29日创建
Close input readers when ParquetRewriter setup fails 未关闭

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3667 · 2026年7月16日创建
null_count is omitted for large columns in parquet files 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3574 · 1 条评论 · 2026年5月22日创建

查看 apache/parquet-java 的全部 Issue

相似的 Issue

A `native` method with instructions gets a `Code` attribute the JVM rejects 未关闭

bug

难度 2/5 1-3 小时新手友好度 78/100

objectionary/jeo-maven-plugin#1811 · 2026年9月25日创建
Add an `AcknowledgeOnly` message to the Publish API 未关闭

难度 2/5 1-3 小时新手友好度 68/100

hiero-ledger/hiero-block-node#3693 · 2026年9月25日创建
CVE-2026-84939 org.freemarker:freemarker 未关闭

area/dependencies kind/cve severity/critical source/scan-dependencies status/triage

难度 2/5 1-3 小时新手友好度 82/100

keycloak/keycloak#53178 · 2026年9月25日创建
Negotiator fails open when onNoIntersection is null, and accepts suites of the wrong intent 未关闭

bug good first issue

难度 2/5 1-3 小时新手友好度 84/100

Arpan0995/pqc-migration-readiness#59 · 2026年9月24日创建
[Feature Request] Memory Tagging Extension (MTE) asynchronous mode 未关闭

proposal

难度 2/5 1-3 小时新手友好度 78/100

beemdevelopment/Aegis#1840 · 2026年9月24日创建

更多 Java Issue