cube-js/cube

How one can disable cache or preaggregation for large datasets?

Open

#5.341 aberto em 22 de set. de 2022

Ver no GitHub
 (2 comments) (2 reactions) (0 assignees)Rust (1.965 forks)batch import
help wanted

Métricas do repositório

Stars
 (19.563 stars)
Métricas de merge de PR
 (Mesclagem média 5d 16h) (138 fundiu PRs em 30d)

Description

Problem

Sometimes users can run smth like 'Select many dimensions and metrics for long period ". When it happens, huge portion of data is added to memory cache (we are still using redis, but I think problem will remain after adding cube store).

How can we disable adding result of query to cache by its size (e.g. limit 30 mb)? For us it's cheaper to make roundrip to db)

Guia do colaborador

Direção de pesquisa
Revise a implementação de cache do Cube.js, provavelmente em `packages/cubejs server` ou `src/cache`. O usuário solicita um limite de tamanho de cache por consulta. Investigue as opções de configuração e proponha adicionar uma nova configuração como `maxCacheSize` para ignorar o cache de consultas que excedam um limite. Verifique se há PRs abertos ou comentários discutindo abordagens semelhantes.
Pilha de tecnologia
nodejsredis
Domain
backenddatabase
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Node.jsRedis
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50