apache/pinot

Increase the latency of a query which has TIME as sorted column when ORDER BY TIME DESC is applied

Open

#6970 aperta il 25 mag 2021

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
help wanted

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

Hi, There is usecase, where need to Increase the latency of a query which has ATIME as sorted column in a pinot table when ORDER BY ATIME DESC limit 100 is applied.

I've a select query which has ORDER BY ATIME ASC limit 100 is applied , then the the time taken for query is barely 15ms, (total rows - 450M, segments- 290, numOfDocsScanned - 318), where as for ORDER BY ATIME DESC limit 100 is taking around (timetaken -200ms, numDocsScanned - 5744955), which is very high, as it is reading whole segment.

Please provide a support reading the segment from bottom in this case, which can reduce the timetaken and numOfDocsScanned...

Thanks Akram Syed

Guida contributor

Direzione di ricerca
Investiga l'implementazione della scansione dei segmenti in Pinot per ORDER BY DESC su una colonna temporale. Esamina le classi QueryPlan e SegmentOperator per capire perché le scansioni in ordine crescente sono veloci mentre quelle decrescenti sono lente. Considera l'implementazione di una scansione inversa o l'ottimizzazione della scansione esistente per gestire in modo efficiente l'ordine decrescente.
Tech stack
java
Dominio
database
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Java
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35