opensearch-project/OpenSearch

[Feature Request] [Remote Store] Make metadata store independent of data store

Open

#12.919 aperta il 26 mar 2024

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Java (1505 fork)batch import
Storage:Remoteenhancementgood first issue

Metriche repository

Star
 (8123 star)
Metriche merge PR
 (Merge medio 5g 9h) (266 PR mergiate in 30 g)

Descrizione

Is your feature request related to a problem? Please describe

  • Currently, when we configure remote store for a cluster, both data and metadata (of segment, translog and cluster state) is stored in the same store.
  • But the access pattern and consistency requirements for data and metadata are different.
  • For example, data files are uploaded and downloaded by providing a filename whereas metadata is fetched based on certain characteristics such as recency.
  • Due to these differences, it is possible that metadata can be stored in a different data store (for example, a key-value store) as we store the data files in a blob store.

Describe the solution you'd like

The ideal solution should allow configuring a different remote store for metadata.

Related component

Storage:Remote

Describe alternatives you've considered

No response

Additional context

No response

Guida contributor

Direzione di ricerca
Studia l'attuale implementazione dell'archivio remoto in OpenSearch, concentrandoti su come vengono archiviati i metadati (segmento, translog, stato del cluster) e i file di dati. Progetta un meccanismo di configurazione per consentire archivi remoti separati per metadati e dati, considerando diversi modelli di accesso e requisiti di coerenza.
Tech stack
java
Dominio
backendinfrastructure
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaOpenSearch internalsRemote store concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20