opensearch-project/OpenSearch

[Remote Translog] Download Translog files concurrently

Open

#10.826 aperta il 22 ott 2023

Vedi su GitHub
 (7 commenti) (0 reazioni) (1 assegnatario)Java (1505 fork)batch import
Storage:Remoteenhancementgood first issue

Metriche repository

Star
 (8123 star)
Metriche merge PR
 (Merge medio 5g 9h) (266 PR mergiate in 30 g)

Descrizione

In failover/primary relocations, we download translog from remote. We need to make it concurrent (still bounded) on a separate threadpool, may be translog_transfer to make that faster . We can use concurrent segment download as a prior work to do the same.

Code pointer : https://github.com/opensearch-project/OpenSearch/blob/main/server/src/main/java/org/opensearch/index/translog/RemoteFsTranslog.java#L205

Concurrent Segment download : https://github.com/opensearch-project/OpenSearch/pull/10519

Guida contributor

Direzione di ricerca
Studia l'implementazione del download concorrente dei segmenti nella PR #10519 e applica un modello di download concorrente simile al trasferimento del translog di RemoteFsTranslog, utilizzando un thread pool limitato e garantendo la sicurezza dei thread.
Tech stack
java
Dominio
backend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60