pingcap/tidb

Improve observability of fast reorg ADD INDEX progress

Open

Aperta il 30 ott 2024

Vedi su GitHub
 (6 commenti) (0 reazioni) (1 assegnatario)Go (40.090 star) (6186 fork)batch import
component/ddlgood first issuetype/enhancement

Descrizione

Enhancement

currently we only let progress forward when KV is written to TiKV. When fast reorg is enabled, data will be batched on disk for a long time. No progress will be made during that stage and some users may suspect DDL is stuck.

So I propose we draw another line in metrics, which means "how many record KV we have read to assume the index KV".

Guida contributor

Tech stack
go
Dominio
backenddatabase
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
GoPrometheusTiDB internals (DDL)
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60
Direzione di ricerca
Esamina l'implementazione della riorganizzazione rapida nel pacchetto DDL, in particolare come i dati dell'indice vengono raggruppati in batch. Identifica le metriche esistenti (ad es. `ddl worker operation duration`) e determina dove aggiungere una nuova metrica per le letture KV dei record. Rivedi l'utilizzo della libreria client Prometheus nel codice. Quindi implementa la nuova metrica e aggiorna il dashboard Grafana se applicabile.