opensearch-project/OpenSearch

[Remote Translog] Download Translog files concurrently

Open

#10,826 opened on 2023年10月22日

GitHub で見る
 (7 comments) (0 reactions) (1 assignee)Java (1,505 forks)batch import
Storage:Remoteenhancementgood first issue

Repository metrics

Stars
 (8,123 stars)
PR merge metrics
 (平均マージ 5d 9h) (30d で 266 merged PRs)

説明

In failover/primary relocations, we download translog from remote. We need to make it concurrent (still bounded) on a separate threadpool, may be translog_transfer to make that faster . We can use concurrent segment download as a prior work to do the same.

Code pointer : https://github.com/opensearch-project/OpenSearch/blob/main/server/src/main/java/org/opensearch/index/translog/RemoteFsTranslog.java#L205

Concurrent Segment download : https://github.com/opensearch-project/OpenSearch/pull/10519

コントリビューターガイド

調査方針
PR #10519 の並行セグメントダウンロード実装を調査し、同様の並行ダウンロードパターンを RemoteFsTranslog のトランスログ転送に適用します。境界のあるスレッドプールを使用し、スレッドセーフティを確保してください。
技術スタック
java
領域
backend
Issue 種別
パフォーマンス
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
JavaGit
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60