Hacktoberfest 2026：维护者为十月标记出来的 issue，仍然开放、适合新手。 浏览 Hacktoberfest issue

datalake_agent: Hadoop (filesystem) catalog

未关闭
#2,017 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
4/5
预计耗时
3-5 天
新手友好度
52/100
Issue 类型
功能
描述清晰度
基本清楚
活跃度
活跃
技术栈
hadoop, spark
领域
data-engineering, databases, distributed-systems

调研方向

Start with dependency B3 and the existing hadoop server-type whitelist route, then trace the volume warehouse path, version-hint handling, namespaces, and FileIO. Run the conformance suite on local FS and MinIO, verify Spark opens the same warehouse path, and add the concurrent-commit test whose outcome documents the S3 limitation.

由索引模型根据 Issue 内容生成。

描述

datalake

Part of #2008. Letters (A, B0–B7, C, D, E) are the PRs listed there; this is B7.

Scope
  • HadoopCatalog over the volume's warehouse path (version-hint.text per table), FileIO from the volume; namespaces are directories. The hadoop server type already in the whitelist routes here.
  • Documented limit: commits rely on an atomic rename, which object stores lack, so concurrent writers to one table are unsafe on S3. Documentation only, no warning at CREATE SERVER.
  • End-to-end on local FS and on MinIO, including a test that shows what two concurrent commits do on each.
Out of scope

HDFS as storage (follow-up of A).

Depends on

B3.

Acceptance
  • Conformance suite green on local FS and MinIO; Spark opens the same warehouse path.
  • The S3 concurrent-commit behaviour is documented from the test's outcome.
主要语言
C
星标
1.4k
派生
248
平均合并
4 天 10 小时
30 天内合并 PR
40

贡献指南

打开贡献指南

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/cloudberry 的其他 Issue

查看 apache/cloudberry 的全部 Issue

相似的 Issue

更多 C Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。