pingcap/tidb

improve the executor runtime information collection

Open

#18 663 ouverte le 17 juil. 2020

Voir sur GitHub
 (2 commentaires) (3 réactions) (0 assignés)Go (6 186 forks)batch import
help wantedsig/executiontype/enhancement

Métriques du dépôt

Stars
 (40 090 stars)
Métriques de merge PR
 (Merge moyen 14j 4h) (346 PRs mergées en 30 j)

Description

Current Problem

Currently, from the explain analyze result, we can see some executor is slow, but it's hard to know the reason of the slow.

Development Task

Here is something need to do:

  • refactor execdetails information of runtime collect https://github.com/pingcap/tidb/pull/18530
  • Add more runtime information for Cop task, include backoff_time, backoff_time resolve_lock time, and so on. #20492
  • add runtime stats for below executor:
    • Insert #20430
    • Update #20430
    • Replace #20430
    • Point-Get #18666
    • Batch_Point_Get #18828
    • IndexLookUpJoin #19721
    • IndexNestedLoopHashJoin #19721
    • HashJoinExec #19721
    • Load data statement #20713
    • HashAggExec, #20577
    • StreamAggExec, #20861
    • IndexLookUpExecutor, #19349
    • IndexMergeReaderExecutor, #20653
    • UnionScanExec, #20865
    • NestedLoopApplyExec
    • ParallelNestedLoopApplyExec
    • ProjectionExec
    • SplitIndexRegionExec
    • SplitTableRegionExec
    • ShowDDLJobQueriesExec
  • Add documents.
  • Add more tests.

Guide contributeur

Direction de recherche
Étudiez l'implémentation des statistiques d'exécution dans les exécuteurs déjà pris en charge (par ex. HashJoinExec) et appliquez une approche similaire aux exécuteurs restants comme StreamAggExec, UnionScanExec, etc. Concentrez vous sur la collecte de métriques telles que le temps d'exécution, les lignes traitées, etc.
Stack technique
go
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30