opensearch-project/OpenSearch

[Remote Store] Remove redundant uploads while restoring data from snapshot

Open

#11,044 opened on 2023年11月1日

GitHub で見る
 (2 comments) (0 reactions) (0 assignees)Java (1,505 forks)batch import
Storage:DurabilityStorage:Remotebuggood first issue

Repository metrics

Stars
 (8,123 stars)
PR merge metrics
 (平均マージ 5d 9h) (30d で 266 merged PRs)

説明

Describe the bug

If we restore a remote store backed index from an interop enabled repository, we are uploading all the data in remote. This is not needed when there is preexisting data in remote store. There can be preexisting data , when the index is closed and we try to restore it back in time from a snapshot.

https://github.com/opensearch-project/OpenSearch/blob/aa0fddb50d6150330718ac0af23b72bd1598ae4a/server/src/main/java/org/opensearch/index/shard/IndexShard.java#L4916-L4922

Given that we have enabled upload during snapshot restore, there is no need to copy the segment files manually to remoteDirectory .

コントリビューターガイド

調査方針
この課題は、スナップショットからの復元時に IndexShard.java で冗長なアップロードを削除することです。4916-4922行のコードを確認する必要があります。復元フローを調査し、スナップショット復元中のアップロードが有効な場合に、セグメントファイルが手動でコピーされないようにします。リモートストア実装におけるエッジケースや依存関係を確認してください。
技術スタック
java
領域
backend
Issue 種別
バグ
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
JavaGit
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60