Accelerate FindColumn when table has huge number of columns · pingcap/tidb#11151

(3 commentaires) (0 réactions) (0 assignés)Go (6 186 forks)batch import

help wantedtype/enhancementtype/performance

Métriques du dépôt

Is your feature request related to a problem? Please describe:

will be frequently called when build query plan or build insert value list.

now it uses linear search to find column info match target name....

when the table has limitation columns it works well...

but when table got many columns (e.g. 200+ columns), upper logic will find 200 columns to do linear search in 200 items.

Describe the feature you'd like:

maybe we should adaptively replace a linear search with another method when table has many columns

Direction de recherche: Le problème pointe vers deux fonctions : FindCols dans table/column.go et FindColumn dans expression/schema.go. Les deux utilisent actuellement une recherche linéaire pour trouver les informations de colonne par nom. L'objectif est de remplacer la recherche linéaire par une méthode plus efficace (par exemple, une table de hachage) lorsque le nombre de colonnes est important. La recherche doit commencer par comprendre l'implémentation actuelle et les structures de données utilisées. Ensuite, envisagez de mettre en œuvre une approche adaptative : conserver la recherche linéaire pour un petit nombre de colonnes et basculer vers une carte ou une tranche triée avec une recherche binaire pour des nombres plus importants. Profilez l'impact sur les performances de la planification des requêtes et de la construction des valeurs d'insertion. Vérifiez les trois commentaires pour toute information ou suggestion supplémentaire.
Stack technique: go
Domaine: databasebackend
Type d'issue: Performance
Difficulté: 3
Temps estimé: Une demi journée
Statut d'activité: Active
Clarté: Claire
Prérequis: Go
Accessibilité débutant: 65