opensearch-project/OpenSearch

[Remote Translog] Download Translog files concurrently

Open

#10.826 aberto em 22 de out. de 2023

Ver no GitHub
 (7 comments) (0 reactions) (1 assignee)Java (1.505 forks)batch import
Storage:Remoteenhancementgood first issue

Métricas do repositório

Stars
 (8.123 stars)
Métricas de merge de PR
 (Mesclagem média 5d 9h) (266 fundiu PRs em 30d)

Description

In failover/primary relocations, we download translog from remote. We need to make it concurrent (still bounded) on a separate threadpool, may be translog_transfer to make that faster . We can use concurrent segment download as a prior work to do the same.

Code pointer : https://github.com/opensearch-project/OpenSearch/blob/main/server/src/main/java/org/opensearch/index/translog/RemoteFsTranslog.java#L205

Concurrent Segment download : https://github.com/opensearch-project/OpenSearch/pull/10519

Guia do colaborador

Direção de pesquisa
Estude a implementação de download concorrente de segmentos no PR #10519 e aplique um padrão de download concorrente semelhante à transferência de translog do RemoteFsTranslog, usando um pool de threads limitado e garantindo segurança de thread.
Pilha de tecnologia
java
Domain
backend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60