apache/pinot

Improving server segment download code

Open

#9152 aperta il 3 ago 2022

Vedi su GitHub
 (14 commenti) (1 reazione) (0 assegnatari)Java (1234 fork)batch import
good first issue

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

  1. Currently if we use the default code path for server segment download we won't retry download on untar failure. In situations as downloading partial tar file, this would not be helpful. There are two solutions:

    • improve the default code path in BaseTableDataManager
    • use the new stream download untar code path pinot.server.instance.segment.stream.download.untar

  2. The new stream download untar code path currently doesn't support stream decryption, as should be theoretically possible with block cipher. This potential improvement to stream segment download can be explored.

User doc for stream download untar: https://docs.pinot.apache.org/operators/tutorials/performance-optimization-configurations PR: https://github.com/apache/pinot/pull/8753

Guida contributor

Direzione di ricerca
Ispeziona il percorso predefinito del codice di BaseTableDataManager e il nuovo percorso del codice di download untar in streaming (pinot.server.instance.segment.stream.download.untar). Indaga la logica di ripetizione in caso di fallimento untar ed esplora il supporto per la decifratura in streaming per cifrari a blocchi. Fai riferimento alla PR collegata #8753 e alla documentazione per indicazioni.
Tech stack
java
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitJava
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65