When a Kafka batch doesn't contain data in all partitions, subsequent ingestions will fail
Una pull request collegata è già stata integrata.
- #821 di @yruslan — integrata
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- kafka, scala, spark
- Ambito
- data-engineering, stream-processing
Direzione di ricerca
The error text 'Cannot compare Kafka offsets with different number of partitions' is the place to start: search the repository for it to find where the offset maps from two batches are compared. Reproduce by running two consecutive ingestions where the second batch has no data for some partitions, then check how the stored offset map is read back. Done means the second ingestion succeeds with a partition gap and an existing test or a new one covers that case.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
When a Kafka batch doesn't contain data in all partitions, subsequent ingestions will fail:
Caused by java.lang.IllegalArgumentException: Cannot compare Kafka offsets with different
number of partitions: 9 and 6
({"0":1623,"1":1541,"2":1815,"3":1273,"4":1422,"5":1562,"6":1373,"7":1458,"8":1436}
vs
{"0":1702,"1":1733,"2":1945,"4":1637,"5":1681,"7":1597}).
Code and/or configuration snippet that caused the issue
--
Expected behavior
Kafka ingestion should work in presence of gaps in partition for a given batch.
Context
- Pramen/pramen-py version: 1.14.9
- Lingua principale
- Scala
- Stelle
- 33
- Fork
- 5
- Merge medio
- 4h 46m
- PR unite (30g)
- 7
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AbsaOSS/pramen
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100
-
Determine timezone of JDBC connections automatically on incremental ingestionForse già presa Una pull request collegata a questa issue è aperta o già unita. Apertaenhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 43/100
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
-
Add a parallelism mode that allows parallel job runs but never the same job for different info datesApertaenhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
-
Jdbc Count doesn't use additional options from JDBC configForse già presa @qwerty44-U l’ha presa 131 giorni fa. Apertabug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
Tutte le issue di AbsaOSS/pramen
Issue simili
-
Traffic event delivered/rejected counters appear swapped in TrafficStateController.updateWithReceiptAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
digital-asset/canton#705 ·
I maintainer di solito rispondono entro 2 giorni
-
easy first-contributor first-contributors good first issue help wanted scala up-for-grabs
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
fork-commit-merge/fork-commit-merge#8457 ·
I maintainer di solito rispondono entro 1 giorno
-
[GC] Empty or non-numeric GC_*_HEAP_SIZE reads out of bounds or uses an uninitialised sizeForse già presa @oluies l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
scala-native/scala-native#5177 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
promovolve/promovolve#358 ·
I maintainer di solito rispondono entro 1 giorno
-
Broken links in the docsAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
svroonland/zio-kinesis#1431 ·