cube-js/cube

How one can disable cache or preaggregation for large datasets?

Open

#5341 aperta il 22 set 2022

Vedi su GitHub
 (2 commenti) (2 reazioni) (0 assegnatari)Rust (1965 fork)batch import
help wanted

Metriche repository

Star
 (19.563 star)
Metriche merge PR
 (Merge medio 5g 16h) (138 PR mergiate in 30 g)

Descrizione

Problem

Sometimes users can run smth like 'Select many dimensions and metrics for long period ". When it happens, huge portion of data is added to memory cache (we are still using redis, but I think problem will remain after adding cube store).

How can we disable adding result of query to cache by its size (e.g. limit 30 mb)? For us it's cheaper to make roundrip to db)

Guida contributor

Direzione di ricerca
Esamina l'implementazione della cache di Cube.js, probabilmente in `packages/cubejs server` o `src/cache`. L'utente richiede un limite di dimensione della cache per query. Indaga le opzioni di configurazione e proponi l'aggiunta di una nuova impostazione come `maxCacheSize` per saltare la memorizzazione in cache per query che superano una soglia. Controlla se ci sono PR aperti o commenti che discutono approcci simili.
Tech stack
nodejsredis
Dominio
backenddatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Node.jsRedis
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50