pingcap/tidb

Parallel evaluation for aggregate functions with distinct in hashAgg

Open

#17.075 aberto em 10 de mai. de 2020

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Go (6.186 forks)batch import
help wantedsig/executiontype/enhancementtype/performance

Métricas do repositório

Stars
 (40.090 stars)
Métricas de merge de PR
 (Mesclagem média 14d 4h) (346 fundiu PRs em 30d)

Description

Development Task

select count(distinct a) from t;

Currently if one of the aggregate functions of a SQL has a distinct evaluation, the hashAgg executor must run in a single thread. See https://github.com/pingcap/tidb/blob/3224393/executor/builder.go#L1207

We may find a method to evaluate it in parallel, maybe a sync.Map for deduplicating entries can be shared in multiple goroutines.

Guia do colaborador

Direção de pesquisa
Estude a implementação atual do hashAgg e projete uma versão paralela usando sync.Map ou um mapa hash concorrente. Analise a lógica de deduplicação e proponha uma abordagem thread safe.
Pilha de tecnologia
go
Domain
database
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GoSQLconcurrency
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50