pingcap/tidb

plan builder is too costly

Open

#27.633 aberto em 27 de ago. de 2021

Ver no GitHub
 (3 comments) (5 reactions) (2 assignees)Go (6.186 forks)batch import
help wantedtype/enhancement

Métricas do repositório

Stars
 (40.090 stars)
Métricas de merge de PR
 (Mesclagem média 14d 4h) (346 fundiu PRs em 30d)

Description

Enhancement

image

There are several apparent part in this picture:

  • generate pseudo statistics cause allocation every time
  • expression rewrite, from ast column name to expression column, the function takes a long time (maybe many columns?)
  • the shadow copy of the column name in expression rewriter

The whole flame graph is, too much allocation caused a lot of GC consumption in the runtime.

image

Maybe the same problem with this issue https://github.com/pingcap/tidb/issues/26868

Guia do colaborador

Direção de pesquisa
Faça o profiling do plan builder usando pprof para identificar pontos críticos de alocação de memória e pressão do GC. Concentre se nas áreas de reescrita de expressões e geração de pseudo estatísticas mencionadas no flame graph. Examine a cópia shadow dos nomes das colunas e considere reduzir alocações.
Pilha de tecnologia
go
Domain
databasebackend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Godatabase internalsprofiling tools (pprof)
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
35