pingcap/tidb

improve the executor runtime information collection

Open

#18.663 geöffnet am 17. Juli 2020

Auf GitHub ansehen
 (2 Kommentare) (3 Reaktionen) (0 zugewiesene Personen)Go (6.186 Forks)batch import
help wantedsig/executiontype/enhancement

Repository-Metriken

Stars
 (40.090 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 14T 4h) (346 gemergte PRs in 30 T)

Beschreibung

Current Problem

Currently, from the explain analyze result, we can see some executor is slow, but it's hard to know the reason of the slow.

Development Task

Here is something need to do:

  • refactor execdetails information of runtime collect https://github.com/pingcap/tidb/pull/18530
  • Add more runtime information for Cop task, include backoff_time, backoff_time resolve_lock time, and so on. #20492
  • add runtime stats for below executor:
    • Insert #20430
    • Update #20430
    • Replace #20430
    • Point-Get #18666
    • Batch_Point_Get #18828
    • IndexLookUpJoin #19721
    • IndexNestedLoopHashJoin #19721
    • HashJoinExec #19721
    • Load data statement #20713
    • HashAggExec, #20577
    • StreamAggExec, #20861
    • IndexLookUpExecutor, #19349
    • IndexMergeReaderExecutor, #20653
    • UnionScanExec, #20865
    • NestedLoopApplyExec
    • ParallelNestedLoopApplyExec
    • ProjectionExec
    • SplitIndexRegionExec
    • SplitTableRegionExec
    • ShowDDLJobQueriesExec
  • Add documents.
  • Add more tests.

Contributor Guide

Research-Richtung
Studieren Sie die Implementierung von Laufzeitstatistiken in bereits unterstützten Executoren (z. B. HashJoinExec) und wenden Sie einen ähnlichen Ansatz auf die verbleibenden Executoren wie StreamAggExec, UnionScanExec usw. an. Konzentrieren Sie sich auf die Erfassung von Metriken wie Ausführungszeit, verarbeitete Zeilen usw.
Tech Stack
go
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Go
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30