pingcap/tidb

Parallel evaluation for aggregate functions with distinct in hashAgg

Open

#17.075 aperta il 10 mag 2020

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Go (6186 fork)batch import
help wantedsig/executiontype/enhancementtype/performance

Metriche repository

Star
 (40.090 star)
Metriche merge PR
 (Merge medio 14g 4h) (346 PR mergiate in 30 g)

Descrizione

Development Task

select count(distinct a) from t;

Currently if one of the aggregate functions of a SQL has a distinct evaluation, the hashAgg executor must run in a single thread. See https://github.com/pingcap/tidb/blob/3224393/executor/builder.go#L1207

We may find a method to evaluate it in parallel, maybe a sync.Map for deduplicating entries can be shared in multiple goroutines.

Guida contributor

Direzione di ricerca
Studia l'attuale implementazione di hashAgg e progetta una versione parallela usando sync.Map o una mappa hash concorrente. Analizza la logica di deduplicazione e proponi un approccio thread safe.
Tech stack
go
Dominio
database
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GoSQLconcurrency
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50