pingcap/tidb

Improve observability of fast reorg ADD INDEX progress

Open

#56.986 aberto em 30 de out. de 2024

Ver no GitHub
 (6 comments) (0 reactions) (1 assignee)Go (40.090 stars) (6.186 forks)batch import
component/ddlgood first issuetype/enhancement

Description

Enhancement

currently we only let progress forward when KV is written to TiKV. When fast reorg is enabled, data will be batched on disk for a long time. No progress will be made during that stage and some users may suspect DDL is stuck.

So I propose we draw another line in metrics, which means "how many record KV we have read to assume the index KV".

Guia do colaborador

Pilha de tecnologia
goprometheusgrafana
Domain
observabilitydatabase
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
active
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
Go programmingTiDB DDLPrometheusKV store
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50
Direção de pesquisa
Examine the fast reorg implementation in the DDL package, specifically how index data is batched. Identify the existing metrics (e.g., `ddl worker operation duration`) and determine where to add a new metric for record KV reads. Review the Prometheus client library usage in the codebase. Then implement the new metric and update the Grafana dashboard if applicable.