pingcap/tidb

Could drainer to kafka support multi partition

Open

#17.525 geöffnet am 29. Mai 2020

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Go (6.186 Forks)batch import
feature/acceptedhelp wantedtype/feature-request

Repository-Metriken

Stars
 (40.090 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 14T 4h) (346 gemergte PRs in 30 T)

Beschreibung

Description

Could drainer to Kafka support multi-partition. Reported from https://asktug.com/t/topic/34614/27

Category

Performance

Value

Support multi-partition could improve Kafka performance

Value Score(Optional): 3

Workload Estimation(Optional)

N/A

Contributor Guide

Research-Richtung
Betrachten Sie die vorhandene Drainer Kafka Sink Implementierung im TiDB Repository (z.B. pkg/drainer/...). Verstehen Sie das aktuelle Single Partition Verhalten und identifizieren Sie, wo das Partition Routing behandelt wird. Überprüfen Sie die in der Issue verlinkte asktug Diskussion, um Benutzeranforderungen zu sammeln. Entwerfen und implementieren Sie dann die Multi Partition Unterstützung, möglicherweise unter Verwendung des Kafka Partitioners. Tests sollten hinzugefügt werden, um die korrekte Partitionenzuweisung zu überprüfen.
Tech Stack
go
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GoKafkaTiDB
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30