pingcap/tidb

Could drainer to kafka support multi partition

Open

#17.525 aperta il 29 mag 2020

Vedi su GitHub
 (0 commenti) (0 reazioni) (1 assegnatario)Go (6186 fork)batch import
feature/acceptedhelp wantedtype/feature-request

Metriche repository

Star
 (40.090 star)
Metriche merge PR
 (Merge medio 14g 4h) (346 PR mergiate in 30 g)

Descrizione

Description

Could drainer to Kafka support multi-partition. Reported from https://asktug.com/t/topic/34614/27

Category

Performance

Value

Support multi-partition could improve Kafka performance

Value Score(Optional): 3

Workload Estimation(Optional)

N/A

Guida contributor

Direzione di ricerca
Esamina l'implementazione esistente del sink Kafka di drainer nel repository TiDB (ad es. pkg/drainer/...). Comprendi il comportamento attuale a partizione singola e identifica dove viene gestito il routing delle partizioni. Rivedi la discussione asktug collegata nell'issue per raccogliere i requisiti degli utenti. Quindi progetta e implementa il supporto multi partizione, potenzialmente utilizzando il partizionatore di Kafka. Dovrebbero essere aggiunti test per verificare l'assegnazione corretta delle partizioni.
Tech stack
go
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GoKafkaTiDB
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30