pingcap/tidb

Support spilling for distinct aggregate function

Open

#27.092 aberto em 11 de ago. de 2021

Ver no GitHub
 (4 comments) (0 reactions) (1 assignee)Go (6.186 forks)batch import
help wantedsig/executiontype/enhancement

Métricas do repositório

Stars
 (40.090 stars)
Métricas de merge de PR
 (Mesclagem média 14d 4h) (346 fundiu PRs em 30d)

Description

Enhancement

Although we support spilling for unparallel HashAgg now, the memory usage of distinct is also out of control. The reason is that we need a IntSet/FloatSet/StringSet to check whether a value is distinct, and the Set maybe take up huge memory.

We need some spilling strategy for distinct function, to control the memory usage of SQL included distinct function.

Fortunately, only few aggregate function need to support distinct, so we only need consider the following distinct function: Count, Sum, Avg, GroupConcat

TiDB seems also support distinct for STDDEV_POP,STDDEV_SAMP, etc. But Mysql doesn't support the syntax

Guia do colaborador

Direção de pesquisa
Investigue o mecanismo de spilling existente para HashAgg e estenda o para lidar com funções agregadas distintas (Count, Sum, Avg, GroupConcat). Identifique onde os conjuntos (IntSet, FloatSet, StringSet) são armazenados e como despejá los de forma eficiente.
Pilha de tecnologia
go
Domain
database
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
GoSQLdatabase internals
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30