opensearch-project/OpenSearch

Skip metadata upload if no new segment files to upload during refresh for remote store clusters

Open

#17.530 aberto em 6 de mar. de 2025

Ver no GitHub
 (10 comments) (0 reactions) (1 assignee)Java (1.505 forks)batch import
Storage:Remoteenhancementgood first issue

Métricas do repositório

Stars
 (8.123 stars)
Métricas de merge de PR
 (Mesclagem média 5d 9h) (266 fundiu PRs em 30d)

Description

Is your feature request related to a problem? Please describe

In the refresh flow of remote store indexes, we determine the files to be uploaded, upload them and then upload the associated metadata. This, however, uploads the metadata even when there is no new files to upload. This can be optimised and metadata upload can be skipped for such cases.

https://github.com/opensearch-project/OpenSearch/blob/3966ed93beb2ff13854d2a6e1ff51dfa32295830/server/src/main/java/org/opensearch/index/shard/RemoteStoreRefreshListener.java#L266C21-L292

Describe the solution you'd like

Optimise the segments upload flow to skip metadata upload when there are no newer segment files.

Related component

No response

Describe alternatives you've considered

No response

Additional context

No response

Guia do colaborador

Direção de pesquisa
Examine o fluxo de upload em RemoteStoreRefreshListener e adicione uma verificação para pular o upload de metadados quando não houver novos arquivos de segmento.
Pilha de tecnologia
java
Domain
backend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitJava
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75