pingcap/tidb

Improve the performance of `Sort` by parallel

Open

#14.417 aperta il 9 gen 2020

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Go (6186 fork)batch import
help wantedsig/executiontype/enhancement

Metriche repository

Star
 (40.090 star)
Metriche merge PR
 (Merge medio 14g 4h) (346 PR mergiate in 30 g)

Descrizione

Feature Request

Is your feature request related to a problem? Please describe:

Now the Sort executor is executed serially. We can run it parallelly to speed up.

Describe the feature you'd like:

Considering using a parallel framework, to run each sort partition in parallel. And then using a merge sort to generate the final result. We can refer to this proposal https://github.com/pingcap/tidb/pull/14238#issuecomment-569880893 and reuse it (after this pr merge).

Describe alternatives you've considered:

Task:

  1. Implement parallel sort.
  • Implement merge sort algorithm above Shuffle operator.
  • Implement plan builder for parallel sort.
  1. Cost Model, explain analyze information.
  • Change the cost model of sort if it will run parallelly.
  • Change the explain analyze result for parallel sort.

Teachability, Documentation, Adoption, Migration Strategy:

Guida contributor

Direzione di ricerca
Esamina l'esecutore di ordinamento esistente in TiDB e la proposta di framework parallelo a cui si fa riferimento. Concentrati sull'implementazione del merge sort sopra l'operatore shuffle e sull'aggiustamento del costruttore di piani e del modello di costo.
Tech stack
go
Dominio
backenddatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GoGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30