apache/pinot

Increase the latency of a query which has TIME as sorted column when ORDER BY TIME DESC is applied

Open

#6.970 aberto em 25 de mai. de 2021

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Java (1.234 forks)batch import
help wanted

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

Hi, There is usecase, where need to Increase the latency of a query which has ATIME as sorted column in a pinot table when ORDER BY ATIME DESC limit 100 is applied.

I've a select query which has ORDER BY ATIME ASC limit 100 is applied , then the the time taken for query is barely 15ms, (total rows - 450M, segments- 290, numOfDocsScanned - 318), where as for ORDER BY ATIME DESC limit 100 is taking around (timetaken -200ms, numDocsScanned - 5744955), which is very high, as it is reading whole segment.

Please provide a support reading the segment from bottom in this case, which can reduce the timetaken and numOfDocsScanned...

Thanks Akram Syed

Guia do colaborador

Direção de pesquisa
Investigue a implementação da varredura de segmentos no Pinot para ORDER BY DESC em uma coluna de tempo. Examine as classes QueryPlan e SegmentOperator para entender por que as varreduras em ordem crescente são rápidas enquanto as decrescentes são lentas. Considere implementar uma varredura reversa ou otimizar a varredura existente para lidar eficientemente com a ordem decrescente.
Pilha de tecnologia
java
Domain
database
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Java
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
35