Kafka Streams runner: expose topic-level configuration for runner-created topics
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- java, kafka
- Ambito
- stream-processing
Direzione di ricerca
Inizia con il Kafka Streams runner e la sua gestione dei topic di bootstrap e repartition creati dal runner per Impulse, Read e GroupByKey. Esamina le opzioni della pipeline esistenti --internalParallelism e replication-factor, quindi confronta gli approcci JSON topic-config e opzioni separate discussi in PR 39546. Il lavoro è completo quando le impostazioni supportate a livello di topic sono esposte e applicate a questi topic interni, con test che coprono la configurazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
The Kafka Streams runner creates its own internal topics (a bootstrap topic per Impulse and Read, a repartition topic per GroupByKey). Today only the partition count (--internalParallelism) and replication factor are configurable.
A user should be able to set the rest of the topic-level configuration — retention, compaction, segment settings, min.insync.replicas and so on. Two options discussed on https://github.com/apache/beam/pull/39546: pass a JSON-serialized dictionary of topic configs, and/or expose the most common ones as separate pipeline options.
Part of #18479.
- Lingua principale
- Java
- Stelle
- 8.7k
- Fork
- 4.7k
- Merge medio
- 2g 10h
- PR unite (30g)
- 310
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/beam
-
[Feature Request]: Support Protobuf 7.x in Python SDKForse già presa @sofiathoren l’ha presa 9 giorni fa. ApertaP2 python
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
apache/beam#39624 · 2 reazioni ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: PubsubIO used in batch incorrect batch cutoff sizeForse già presa @1fanwang l’ha presa 59 giorni fa. Apertabug io P3 pinned pubsub
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/beam#28011 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
build P3 sub-task
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
bug gcp io java P3
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
Issue simili
-
dev/release: verify-release-candidate.sh runs 0 Java tests with Debian's MavenForse già presa @kou l’ha presa oggi. ApertaType: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
apache/arrow-adbc#4947 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lysine-dev/okhttp#9814 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
1.20.1-FORGE bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
MehVahdJukaar/WoodGood#1348 ·
-
documentation faq
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100