Comet Native Executors: support writes
I maintainer di solito rispondono entro 2 giorni
@andygrove ci sta già lavorando.
Dal 1/11/2026.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 40/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- scala, spark
- Ambito
- data-engineering, distributed-systems
Direzione di ricerca
Start by reading CometNativeExecutors.applies and the existing IcebergWriteExec and IcebergCommitExec flow, then review the context in issues #7288 and #7289. Trace how write commands are currently delegated and how written-file metadata could reach the driver for commit. Done means supported write commands, including INSERT, CTAS, and DataFrame.write, execute on the native executor cluster and commit on the driver.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
What is the problem the feature request solves?
A Comet Native Executor cluster (#7289) only runs queries. A plan with a DataWritingCommandExec or a V2 write command is left to Spark, so INSERT, CTAS and DataFrame.write don't run on the cluster.
Describe the potential solution
Write the files on the executors and commit on the driver, like Comet's split Iceberg writer (IcebergWriteExec and IcebergCommitExec): the cluster returns the written files' metadata as the query's result, and the driver runs the commit protocol.
Additional context
#7288 lists writes as out of scope at first. CometNativeExecutors.applies skips write commands today.
Part of #7288.
Willingness to contribute
Yes. I can contribute this feature independently.
- Lingua principale
- Scala
- Stelle
- 1.3k
- Fork
- 405
- Merge medio
- 3g 4m
- PR unite (30g)
- 282
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/datafusion-comet
-
area:ci enhancement priority:low requires-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
apache/datafusion-comet#7319 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
area:ci bug priority:low requires-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/datafusion-comet#7315 ·
I maintainer di solito rispondono entro 2 giorni
-
requires-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
apache/datafusion-comet#7240 ·
I maintainer di solito rispondono entro 2 giorni
-
bug priority:low
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/datafusion-comet#7176 ·
I maintainer di solito rispondono entro 2 giorni
-
docs: update Scala comments that reference the removed iceberg-writes.md pageForse già presa @Abhishek-Mohan l’ha presa 4 giorni fa. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 83/100
apache/datafusion-comet#7101 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di apache/datafusion-comet
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
propensive/soundness#2351 ·
I maintainer di solito rispondono entro 1 giorno
-
Traffic event delivered/rejected counters appear swapped in TrafficStateController.updateWithReceiptAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
digital-asset/canton#705 ·
I maintainer di solito rispondono entro 2 giorni
-
easy first-contributor first-contributors good first issue help wanted scala up-for-grabs
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
fork-commit-merge/fork-commit-merge#8457 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
promovolve/promovolve#358 ·
I maintainer di solito rispondono entro 1 giorno