opensearch-project/OpenSearch

[Feature Request] [Remote Store] Make metadata store independent of data store

Open

#12.919 aberto em 26 de mar. de 2024

Ver no GitHub
 (1 comment) (1 reaction) (0 assignees)Java (1.505 forks)batch import
Storage:Remoteenhancementgood first issue

Métricas do repositório

Stars
 (8.123 stars)
Métricas de merge de PR
 (Mesclagem média 5d 9h) (266 fundiu PRs em 30d)

Description

Is your feature request related to a problem? Please describe

  • Currently, when we configure remote store for a cluster, both data and metadata (of segment, translog and cluster state) is stored in the same store.
  • But the access pattern and consistency requirements for data and metadata are different.
  • For example, data files are uploaded and downloaded by providing a filename whereas metadata is fetched based on certain characteristics such as recency.
  • Due to these differences, it is possible that metadata can be stored in a different data store (for example, a key-value store) as we store the data files in a blob store.

Describe the solution you'd like

The ideal solution should allow configuring a different remote store for metadata.

Related component

Storage:Remote

Describe alternatives you've considered

No response

Additional context

No response

Guia do colaborador

Direção de pesquisa
Estude a implementação atual do armazenamento remoto no OpenSearch, focando em como os metadados (segmento, translog, estado do cluster) e arquivos de dados são armazenados. Projete um mecanismo de configuração para permitir armazenamentos remotos separados para metadados e dados, considerando diferentes padrões de acesso e requisitos de consistência.
Pilha de tecnologia
java
Domain
backendinfrastructure
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaOpenSearch internalsRemote store concepts
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20