opensearch-project/OpenSearch

[Remote Store] Remove redundant uploads while restoring data from snapshot

Open

#11.044 aperta il 1 nov 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Java (1505 fork)batch import
Storage:DurabilityStorage:Remotebuggood first issue

Metriche repository

Star
 (8123 star)
Metriche merge PR
 (Merge medio 5g 9h) (266 PR mergiate in 30 g)

Descrizione

Describe the bug

If we restore a remote store backed index from an interop enabled repository, we are uploading all the data in remote. This is not needed when there is preexisting data in remote store. There can be preexisting data , when the index is closed and we try to restore it back in time from a snapshot.

https://github.com/opensearch-project/OpenSearch/blob/aa0fddb50d6150330718ac0af23b72bd1598ae4a/server/src/main/java/org/opensearch/index/shard/IndexShard.java#L4916-L4922

Given that we have enabled upload during snapshot restore, there is no need to copy the segment files manually to remoteDirectory .

Guida contributor

Direzione di ricerca
Il problema consiste nel rimuovere i caricamenti ridondanti in IndexShard.java durante il ripristino da uno snapshot. Il codice alle righe 4916-4922 dovrebbe essere esaminato. Indagare il flusso di ripristino e assicurarsi che i file di segmento non vengano copiati manualmente quando il caricamento durante il ripristino dello snapshot è abilitato. Verificare eventuali casi limite o dipendenze nell'implementazione dello store remoto.
Tech stack
java
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60