Comet Native Executors: support writes
维护者通常 2 天内回复
@andygrove 已经在做这个了。
开始于 2026年11月1日。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 40/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- scala, spark
调研方向
Start by reading CometNativeExecutors.applies and the existing IcebergWriteExec and IcebergCommitExec flow, then review the context in issues #7288 and #7289. Trace how write commands are currently delegated and how written-file metadata could reach the driver for commit. Done means supported write commands, including INSERT, CTAS, and DataFrame.write, execute on the native executor cluster and commit on the driver.
由索引模型根据 Issue 内容生成。
描述
What is the problem the feature request solves?
A Comet Native Executor cluster (#7289) only runs queries. A plan with a DataWritingCommandExec or a V2 write command is left to Spark, so INSERT, CTAS and DataFrame.write don't run on the cluster.
Describe the potential solution
Write the files on the executors and commit on the driver, like Comet's split Iceberg writer (IcebergWriteExec and IcebergCommitExec): the cluster returns the written files' metadata as the query's result, and the driver runs the commit protocol.
Additional context
#7288 lists writes as out of scope at first. CometNativeExecutors.applies skips write commands today.
Part of #7288.
Willingness to contribute
Yes. I can contribute this feature independently.
- 主要语言
- Scala
- 星标
- 1.3k
- 派生
- 405
- 平均合并
- 3 天 7 小时
- 30 天内合并 PR
- 225
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/datafusion-comet 的其他 Issue
-
requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7479 ·
维护者通常 2 天内回复
-
area:writer enhancement requires-triage
难度 2/5 1-3 小时 新手友好度 62/100
apache/datafusion-comet#7463 ·
维护者通常 2 天内回复
-
requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7458 ·
维护者通常 2 天内回复
-
requires-triage
难度 2/5 1-3 小时 新手友好度 72/100
apache/datafusion-comet#7453 ·
维护者通常 2 天内回复
-
area:ci enhancement priority:low requires-triage
难度 2/5 1-3 小时 新手友好度 74/100
apache/datafusion-comet#7319 · 1 条评论 ·
维护者通常 2 天内回复
查看 apache/datafusion-comet 的全部 Issue
相似的 Issue
-
Area: PDF support
难度 2/5 1-3 小时 新手友好度 72/100
orbeon/orbeon-forms#8055 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
lichess-org/database#103 ·
-
kind:bug priority:major
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
Spark benchmarks crash with `[INVALID_DRIVER_MEMORY]` on JVMs whose default heap is below Spark's ~450 MB minimum可能已有人在做 @sendaoYan 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 79/100
-
Static data: Add @id in Organization static content可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭SEO
难度 1/5 1-3 小时 新手友好度 87/100
lichess-org/lila#22409 ·
维护者通常 1 天内回复