datalake_fdw: storage I/O over object storage (S3)
@MisterRaindrop 已经在做这个了。
开始于 2026年9月16日。
评估
这个 Issue 还没有评估数据。
描述
Part of #2008. Letters (A, B0–B7, C, D, E) are the PRs listed there; this is A.
Scope
- An S3 backend (AWS SDK for C++) in
backend_registry, configured from the volume server and user-mapping options the validator already accepts (endpoint, region, path style, credentials, session token). - Arrow
RandomAccessFile/OutputStreamadapters overcommon/file_system_wrapper.h;parquet_read.cppandparquet_write.cppare the only format files that change. - The writer's rule carried over: an object is created once, never overwritten, and a failed writer removes exactly that object.
- A
storage_s3smoke category against MinIO, and the CI job that starts MinIO (theCATEGORY_SERVICEShook inrun_smoke_tests.sh).
Out of scope
HDFS (libhdfs3 is unmaintained; the wrapper leaves room for a second backend). Iceberg path layout (C).
Depends on
Nothing. Starts first.
Acceptance
- The #1951 type set round-trips through
s3://against MinIO in CI. - A write aborted after the first row group leaves no object; an existing key is refused.
- Credentials never appear in logs, errors or
EXPLAIN. nm -Dexports only the PostgreSQL entry points; Arrow 9 and 17 build.
- 主要语言
- C
- 星标
- 1.4k
- 派生
- 248
- 平均合并
- 4 天 10 小时
- 30 天内合并 PR
- 40
贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
apache/cloudberry 的其他 Issue
-
type: Bug
难度 2/5 1-3 小时 新手友好度 76/100
apache/cloudberry#1885 · 2 个 reaction ·
-
难度 2/5 1-3 小时 新手友好度 86/100
apache/cloudberry#1825 ·
-
type: Bug
难度 3/5 1-2 天 新手友好度 65/100
apache/cloudberry#2048 · 1 个 reaction ·
-
type: Bug
难度 4/5 3-5 天 新手友好度 40/100
apache/cloudberry#2047 ·
-
type: Bug
难度 4/5 3-5 天 新手友好度 45/100
apache/cloudberry#2046 · 1 条评论 ·
查看 apache/cloudberry 的全部 Issue
相似的 Issue
-
task
难度 2/5 1-3 小时 新手友好度 70/100
vsanthanam/JBird#429 ·
-
难度 2/5 1-3 小时 新手友好度 70/100
-
bug documentation
难度 2/5 1-3 小时 新手友好度 75/100
es-ude/OnDeviceTraining#459 ·
-
难度 2/5 1-3 小时 新手友好度 65/100
bilelmoussaoui/gobject-linter#199 · 1 条评论 ·
-
bug
难度 2/5 1-3 小时 新手友好度 75/100
bradcypert/plum#53 ·