pingcap/tidb

Improve observability of fast reorg ADD INDEX progress

Open

#56.986 geöffnet am 30. Okt. 2024

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Go (6.186 Forks)batch import
component/ddlgood first issuetype/enhancement

Repository-Metriken

Stars
 (40.090 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 14T 4h) (346 gemergte PRs in 30 T)

Beschreibung

Enhancement

currently we only let progress forward when KV is written to TiKV. When fast reorg is enabled, data will be batched on disk for a long time. No progress will be made during that stage and some users may suspect DDL is stuck.

So I propose we draw another line in metrics, which means "how many record KV we have read to assume the index KV".

Contributor Guide

Research-Richtung
Untersuche die Fast Reorg Implementierung im DDL Paket, insbesondere wie Indexdaten gebündelt werden. Identifiziere die vorhandenen Metriken (z. B. `ddl worker operation duration`) und bestimme, wo eine neue Metrik für KV Lesevorgänge von Datensätzen hinzugefügt werden soll. Überprüfe die Verwendung der Prometheus Client Bibliothek im Codebase. Implementiere dann die neue Metrik und aktualisiere gegebenenfalls das Grafana Dashboard.
Tech Stack
go
Domain
backenddatabase
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GoPrometheusTiDB internals (DDL)
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60