pingcap/tidb

plan builder is too costly

Open

#27.633 geöffnet am 27. Aug. 2021

Auf GitHub ansehen
 (3 Kommentare) (5 Reaktionen) (2 zugewiesene Personen)Go (6.186 Forks)batch import
help wantedtype/enhancement

Repository-Metriken

Stars
 (40.090 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 14T 4h) (346 gemergte PRs in 30 T)

Beschreibung

Enhancement

image

There are several apparent part in this picture:

  • generate pseudo statistics cause allocation every time
  • expression rewrite, from ast column name to expression column, the function takes a long time (maybe many columns?)
  • the shadow copy of the column name in expression rewriter

The whole flame graph is, too much allocation caused a lot of GC consumption in the runtime.

image

Maybe the same problem with this issue https://github.com/pingcap/tidb/issues/26868

Contributor Guide

Research-Richtung
Profiler den Plan Builder mit pprof, um heiße Punkte der Speicherzuweisung und des GC Drucks zu identifizieren. Konzentrieren Sie sich auf die im Flame Graph erwähnten Bereiche der Ausdrucksumschreibung und der Pseudo Statistikgenerierung. Untersuchen Sie die Schattenkopie von Spaltennamen und erwägen Sie, die Zuweisungen zu reduzieren.
Tech Stack
go
Domain
databasebackend
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Godatabase internalsprofiling tools (pprof)
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35