pingcap/tidb

plan builder is too costly

Open

#27.633 aperta il 27 ago 2021

Vedi su GitHub
 (3 commenti) (5 reazioni) (2 assegnatari)Go (6186 fork)batch import
help wantedtype/enhancement

Metriche repository

Star
 (40.090 star)
Metriche merge PR
 (Merge medio 14g 4h) (346 PR mergiate in 30 g)

Descrizione

Enhancement

image

There are several apparent part in this picture:

  • generate pseudo statistics cause allocation every time
  • expression rewrite, from ast column name to expression column, the function takes a long time (maybe many columns?)
  • the shadow copy of the column name in expression rewriter

The whole flame graph is, too much allocation caused a lot of GC consumption in the runtime.

image

Maybe the same problem with this issue https://github.com/pingcap/tidb/issues/26868

Guida contributor

Direzione di ricerca
Esegui il profiling del plan builder usando pprof per identificare i punti caldi di allocazione della memoria e pressione GC. Concentrati sulle aree di riscrittura delle espressioni e generazione di statistiche pseudo menzionate nel flame graph. Esamina la copia shadow dei nomi delle colonne e considera la riduzione delle allocazioni.
Tech stack
go
Dominio
databasebackend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Godatabase internalsprofiling tools (pprof)
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35