pingcap/tidb

Improve observability of fast reorg ADD INDEX progress

Open

#56,986 创建于 2024年10月30日

在 GitHub 查看
 (6 评论) (0 反应) (1 负责人)Go (6,186 fork)batch import
component/ddlgood first issuetype/enhancement

仓库指标

Star
 (40,090 star)
PR 合并指标
 (平均合并 14天 4小时) (30 天内合并 346 个 PR)

描述

Enhancement

currently we only let progress forward when KV is written to TiKV. When fast reorg is enabled, data will be batched on disk for a long time. No progress will be made during that stage and some users may suspect DDL is stuck.

So I propose we draw another line in metrics, which means "how many record KV we have read to assume the index KV".

贡献者指南

研究方向
检查 DDL 包中的快速重组实现，特别是索引数据如何批量处理。识别现有指标（例如 `ddl worker operation duration`），并确定在何处添加记录 KV 读取的新指标。审查代码库中 Prometheus 客户端库的使用。然后实现新指标，并在适用时更新 Grafana 仪表板。
技术栈
go
领域
backenddatabase
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 小时
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
GoPrometheusTiDB internals (DDL)
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
60