apache/pinot

Handle change in default groupId behavior in kafka consumer

Ouverte

#9 183 ouverte le 9 août 2022

Voir sur GitHubGuide contributeur
 (4 commentaires) (0 réaction) (0 personne assignée)Java (1 234 forks)batch import
good first issue

Métriques du dépôt

Stars
 (4 937 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Starting kafka 2.2.0 onwards, when group.id is not specified in the kafka consumer config, it is set as null, instead of an empty string. Due to this change, even though auto-commit is enabled, it doesn't show up in the consumer offsets topics. This breaks existing kafka monitoring tools.

One proposed solution is for Pinot to set a default group id when it was not explicitly configured by user (say, table name as the default group id).

Guide contributeur

Direction de recherche
Recherchez où définir un group.id par defaut dans la configuration du consommateur Kafka, probablement dans la logique de creation du consommateur dans le code de Pinot.
Stack technique
java
Domaine
backenddata
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
KafkaJavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65