pingcap/tidb

Accelerate FindColumn when table has huge number of columns

Open

#11.151 aberto em 9 de jul. de 2019

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Go (6.186 forks)batch import
help wantedtype/enhancementtype/performance

Métricas do repositório

Stars
 (40.090 stars)
Métricas de merge de PR
 (Mesclagem média 14d 4h) (346 fundiu PRs em 30d)

Description

Feature Request

Is your feature request related to a problem? Please describe:

will be frequently called when build query plan or build insert value list.

now it uses linear search to find column info match target name....

when the table has limitation columns it works well...

but when table got many columns (e.g. 200+ columns), upper logic will find 200 columns to do linear search in 200 items.

image

Describe the feature you'd like:

maybe we should adaptively replace a linear search with another method when table has many columns

Guia do colaborador

Direção de pesquisa
O problema aponta para duas funções: FindCols em table/column.go e FindColumn em expression/schema.go. Ambas atualmente usam busca linear para encontrar informações de coluna por nome. O objetivo é substituir a busca linear por um método mais eficiente (por exemplo, mapa hash) quando o número de colunas for grande. A pesquisa deve começar entendendo a implementação atual e as estruturas de dados usadas. Em seguida, considere implementar uma abordagem adaptativa: manter a busca linear para contagens pequenas de colunas e mudar para um mapa ou slice ordenado com busca binária para contagens maiores. Faça um perfil do impacto no desempenho no planejamento de consultas e na construção de valores de inserção. Verifique os três comentários para quaisquer insights ou sugestões adicionais.
Pilha de tecnologia
go
Domain
databasebackend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Go
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65