Comet Native Executors: support writes
Maintainer thường phản hồi trong vòng 2 ngày
@andygrove đang làm issue này rồi.
Từ ngày 1/11/2026.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 40/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- scala, spark
- Lĩnh vực
- data-engineering, distributed-systems
Hướng nghiên cứu
Start by reading CometNativeExecutors.applies and the existing IcebergWriteExec and IcebergCommitExec flow, then review the context in issues #7288 and #7289. Trace how write commands are currently delegated and how written-file metadata could reach the driver for commit. Done means supported write commands, including INSERT, CTAS, and DataFrame.write, execute on the native executor cluster and commit on the driver.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
What is the problem the feature request solves?
A Comet Native Executor cluster (#7289) only runs queries. A plan with a DataWritingCommandExec or a V2 write command is left to Spark, so INSERT, CTAS and DataFrame.write don't run on the cluster.
Describe the potential solution
Write the files on the executors and commit on the driver, like Comet's split Iceberg writer (IcebergWriteExec and IcebergCommitExec): the cluster returns the written files' metadata as the query's result, and the driver runs the commit protocol.
Additional context
#7288 lists writes as out of scope at first. CometNativeExecutors.applies skips write commands today.
Part of #7288.
Willingness to contribute
Yes. I can contribute this feature independently.
- Ngôn ngữ chính
- Scala
- Star
- 1.3k
- Fork
- 405
- Merge trung bình
- 3 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 269
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/datafusion-comet
-
area:writer enhancement requires-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
apache/datafusion-comet#7463 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
requires-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/datafusion-comet#7458 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
requires-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
apache/datafusion-comet#7453 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
area:ci enhancement priority:low requires-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
apache/datafusion-comet#7319 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
area:ci bug priority:low requires-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/datafusion-comet#7315 ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của apache/datafusion-comet
Issue tương tự
-
bug minor
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
propensive/soundness#2418 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
scylladb/scylla-migrator#432 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Python: zadd stringifies bytes/bytearray/memoryview members (silent data corruption), including in BatchCó thể đã có người làm @prateek-kumar-improving đã nhận hôm nay. Đang mởbug 🐞 python 🐍
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
valkey-io/valkey-glide#7521 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
BigQuery
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
canton-network/splice#8220 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 64/100
Maintainer thường phản hồi trong vòng 1 ngày