pingcap/tidb

Could drainer to kafka support multi partition

Open

#17,525 创建于 2020年5月29日

在 GitHub 查看
 (0 评论) (0 反应) (1 负责人)Go (6,186 fork)batch import
feature/acceptedhelp wantedtype/feature-request

仓库指标

Star
 (40,090 star)
PR 合并指标
 (平均合并 14天 4小时) (30 天内合并 346 个 PR)

描述

Description

Could drainer to Kafka support multi-partition. Reported from https://asktug.com/t/topic/34614/27

Category

Performance

Value

Support multi-partition could improve Kafka performance

Value Score(Optional): 3

Workload Estimation(Optional)

N/A

贡献者指南

研究方向
查看 TiDB 仓库中现有的 drainer Kafka sink 实现（例如 pkg/drainer/...）。理解当前的单分区行为，并确定分区路由的处理位置。查阅 issue 中链接的 asktug 讨论以收集用户需求。然后设计并实现多分区支持，可能使用 Kafka 的分区器。应添加测试以验证正确的分区分配。
技术栈
go
领域
backend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
3-5 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
GoKafkaTiDB
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
30