Accelerate FindColumn when table has huge number of columns · pingcap/tidb#11151

(3 commenti) (0 reazioni) (0 assegnatari)Go (6186 fork)batch import

help wantedtype/enhancementtype/performance

Metriche repository

Is your feature request related to a problem? Please describe:

will be frequently called when build query plan or build insert value list.

now it uses linear search to find column info match target name....

when the table has limitation columns it works well...

but when table got many columns (e.g. 200+ columns), upper logic will find 200 columns to do linear search in 200 items.

Describe the feature you'd like:

maybe we should adaptively replace a linear search with another method when table has many columns

Direzione di ricerca: Il problema fa riferimento a due funzioni: FindCols in table/column.go e FindColumn in expression/schema.go. Entrambe attualmente utilizzano la ricerca lineare per trovare le informazioni della colonna per nome. L'obiettivo è sostituire la ricerca lineare con un metodo più efficiente (ad esempio, una mappa hash) quando il numero di colonne è elevato. La ricerca dovrebbe iniziare comprendendo l'implementazione corrente e le strutture dati utilizzate. Quindi, considerare l'implementazione di un approccio adattivo: mantenere la ricerca lineare per un numero ridotto di colonne e passare a una mappa o a una slice ordinata con ricerca binaria per numeri maggiori. Profilare l'impatto sulle prestazioni nella pianificazione delle query e nella costruzione dei valori di inserimento. Controllare i tre commenti per eventuali approfondimenti o suggerimenti aggiuntivi.
Tech stack: go
Dominio: databasebackend
Tipo issue: Performance
Difficoltà: 3
Tempo stimato: Mezza giornata
Stato attività: Attiva
Chiarezza: Chiara
Prerequisiti: Go
Adatta ai principianti: 65