Accelerate FindColumn when table has huge number of columns · pingcap/tidb#11151

(3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Go (6.186 Forks)batch import

help wantedtype/enhancementtype/performance

Repository-Metriken

Is your feature request related to a problem? Please describe:

will be frequently called when build query plan or build insert value list.

now it uses linear search to find column info match target name....

when the table has limitation columns it works well...

but when table got many columns (e.g. 200+ columns), upper logic will find 200 columns to do linear search in 200 items.

Describe the feature you'd like:

maybe we should adaptively replace a linear search with another method when table has many columns

Research-Richtung: Das Problem verweist auf zwei Funktionen: FindCols in table/column.go und FindColumn in expression/schema.go. Beide verwenden derzeit lineare Suche, um Spalteninformationen nach Namen zu finden. Das Ziel ist es, die lineare Suche durch eine effizientere Methode (z. B. Hash Map) zu ersetzen, wenn die Anzahl der Spalten groß ist. Die Recherche sollte mit dem Verständnis der aktuellen Implementierung und der verwendeten Datenstrukturen beginnen. Dann sollte ein adaptiver Ansatz in Betracht gezogen werden: Lineare Suche für kleine Spaltenanzahlen beibehalten und für größere Anzahlen auf eine Map oder einen sortierten Slice mit binärer Suche umschalten. Profilieren Sie die Leistungsauswirkungen auf die Abfrageplanung und den Aufbau von Einfügewerten. Überprüfen Sie die drei Kommentare auf zusätzliche Erkenntnisse oder Vorschläge.
Tech Stack: go
Domain: databasebackend
Issue Type: Performance
Schwierigkeit: 3
Geschätzte Zeit: Halber Tag
Aktivitätsstatus: Aktiv
Klarheit: Klar
Voraussetzungen: Go
Einsteigerfreundlichkeit: 65