opensearch-project/OpenSearch

[Remote Translog] Download Translog files concurrently

Open

#10.826 geöffnet am 22. Okt. 2023

Auf GitHub ansehen
 (7 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (1.505 Forks)batch import
Storage:Remoteenhancementgood first issue

Repository-Metriken

Stars
 (8.123 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 9h) (266 gemergte PRs in 30 T)

Beschreibung

In failover/primary relocations, we download translog from remote. We need to make it concurrent (still bounded) on a separate threadpool, may be translog_transfer to make that faster . We can use concurrent segment download as a prior work to do the same.

Code pointer : https://github.com/opensearch-project/OpenSearch/blob/main/server/src/main/java/org/opensearch/index/translog/RemoteFsTranslog.java#L205

Concurrent Segment download : https://github.com/opensearch-project/OpenSearch/pull/10519

Contributor Guide

Research-Richtung
Studieren Sie die Implementierung des gleichzeitigen Segment Downloads in PR #10519 und wenden Sie ein ähnliches gleichzeitiges Download Muster auf die Translog Übertragung von RemoteFsTranslog an, wobei Sie einen begrenzten Thread Pool verwenden und die Thread Sicherheit gewährleisten.
Tech Stack
java
Domain
backend
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60