pingcap/tidb

Support spilling for distinct aggregate function

Open

#27.092 aperta il 11 ago 2021

Vedi su GitHub
 (4 commenti) (0 reazioni) (1 assegnatario)Go (6186 fork)batch import
help wantedsig/executiontype/enhancement

Metriche repository

Star
 (40.090 star)
Metriche merge PR
 (Merge medio 14g 4h) (346 PR mergiate in 30 g)

Descrizione

Enhancement

Although we support spilling for unparallel HashAgg now, the memory usage of distinct is also out of control. The reason is that we need a IntSet/FloatSet/StringSet to check whether a value is distinct, and the Set maybe take up huge memory.

We need some spilling strategy for distinct function, to control the memory usage of SQL included distinct function.

Fortunately, only few aggregate function need to support distinct, so we only need consider the following distinct function: Count, Sum, Avg, GroupConcat

TiDB seems also support distinct for STDDEV_POP,STDDEV_SAMP, etc. But Mysql doesn't support the syntax

Guida contributor

Direzione di ricerca
Analizza il meccanismo di spilling esistente per HashAgg e estendilo per gestire le funzioni aggregate distinte (Count, Sum, Avg, GroupConcat). Identifica dove sono memorizzati i set (IntSet, FloatSet, StringSet) e come spillerli in modo efficiente.
Tech stack
go
Dominio
database
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
GoSQLdatabase internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30