pingcap/tidb

Improve observability of fast reorg ADD INDEX progress

Open

#56.986 geöffnet am 30. Okt. 2024

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Go (40.090 Stars) (6.186 Forks)batch import
component/ddlgood first issuetype/enhancement

Beschreibung

Enhancement

currently we only let progress forward when KV is written to TiKV. When fast reorg is enabled, data will be batched on disk for a long time. No progress will be made during that stage and some users may suspect DDL is stuck.

So I propose we draw another line in metrics, which means "how many record KV we have read to assume the index KV".

Contributor Guide

Tech Stack
goprometheusgrafana
Domain
observabilitydatabase
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
half day
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
active
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
Go programmingTiDB DDLPrometheusKV store
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50
Research-Richtung
Examine the fast reorg implementation in the DDL package, specifically how index data is batched. Identify the existing metrics (e.g., `ddl worker operation duration`) and determine where to add a new metric for record KV reads. Review the Prometheus client library usage in the codebase. Then implement the new metric and update the Grafana dashboard if applicable.