pingcap/tidb

improve the executor runtime information collection

Open

#18.663 aberto em 17 de jul. de 2020

Ver no GitHub
 (2 comments) (3 reactions) (0 assignees)Go (6.186 forks)batch import
help wantedsig/executiontype/enhancement

Métricas do repositório

Stars
 (40.090 stars)
Métricas de merge de PR
 (Mesclagem média 14d 4h) (346 fundiu PRs em 30d)

Description

Current Problem

Currently, from the explain analyze result, we can see some executor is slow, but it's hard to know the reason of the slow.

Development Task

Here is something need to do:

  • refactor execdetails information of runtime collect https://github.com/pingcap/tidb/pull/18530
  • Add more runtime information for Cop task, include backoff_time, backoff_time resolve_lock time, and so on. #20492
  • add runtime stats for below executor:
    • Insert #20430
    • Update #20430
    • Replace #20430
    • Point-Get #18666
    • Batch_Point_Get #18828
    • IndexLookUpJoin #19721
    • IndexNestedLoopHashJoin #19721
    • HashJoinExec #19721
    • Load data statement #20713
    • HashAggExec, #20577
    • StreamAggExec, #20861
    • IndexLookUpExecutor, #19349
    • IndexMergeReaderExecutor, #20653
    • UnionScanExec, #20865
    • NestedLoopApplyExec
    • ParallelNestedLoopApplyExec
    • ProjectionExec
    • SplitIndexRegionExec
    • SplitTableRegionExec
    • ShowDDLJobQueriesExec
  • Add documents.
  • Add more tests.

Guia do colaborador

Direção de pesquisa
Estude a implementação de estatísticas de tempo de execução em executores já suportados (ex.: HashJoinExec) e aplique abordagem semelhante aos executores restantes, como StreamAggExec, UnionScanExec, etc. Concentre se em coletar métricas como tempo de execução, linhas processadas, etc.
Pilha de tecnologia
go
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Go
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30