opensearch-project/OpenSearch

[Remote Store] Remove redundant uploads while restoring data from snapshot

Open

#11.044 geöffnet am 1. Nov. 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.505 Forks)batch import
Storage:DurabilityStorage:Remotebuggood first issue

Repository-Metriken

Stars
 (8.123 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 9h) (266 gemergte PRs in 30 T)

Beschreibung

Describe the bug

If we restore a remote store backed index from an interop enabled repository, we are uploading all the data in remote. This is not needed when there is preexisting data in remote store. There can be preexisting data , when the index is closed and we try to restore it back in time from a snapshot.

https://github.com/opensearch-project/OpenSearch/blob/aa0fddb50d6150330718ac0af23b72bd1598ae4a/server/src/main/java/org/opensearch/index/shard/IndexShard.java#L4916-L4922

Given that we have enabled upload during snapshot restore, there is no need to copy the segment files manually to remoteDirectory .

Contributor Guide

Research-Richtung
Das Problem besteht darin, redundante Uploads in IndexShard.java bei der Wiederherstellung aus einem Snapshot zu entfernen. Der Code in den Zeilen 4916-4922 sollte überprüft werden. Untersuchen Sie den Wiederherstellungsfluss und stellen Sie sicher, dass Segmentdateien nicht manuell kopiert werden, wenn der Upload während der Snapshot Wiederherstellung aktiviert ist. Prüfen Sie auf etwaige Randfälle oder Abhängigkeiten in der Remote Store Implementierung.
Tech Stack
java
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60