apache/pinot

Handle change in default groupId behavior in kafka consumer

Aperta

#9183 aperta il 9 ago 2022

Vedi su GitHubGuida contributor
 (4 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
good first issue

Metriche repository

Star
 (4937 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Starting kafka 2.2.0 onwards, when group.id is not specified in the kafka consumer config, it is set as null, instead of an empty string. Due to this change, even though auto-commit is enabled, it doesn't show up in the consumer offsets topics. This breaks existing kafka monitoring tools.

One proposed solution is for Pinot to set a default group id when it was not explicitly configured by user (say, table name as the default group id).

Guida contributor

Direzione di ricerca
Individua dove impostare un group.id predefinito nella configurazione del consumatore Kafka, probabilmente nella logica di creazione del consumatore nel codice di Pinot.
Tech stack
java
Dominio
backenddata
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
KafkaJavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65