cube-js/cube

Cubestore s3 fails when uploading with`File can't be listed after upload.` when subPath starts with /

Aberta

#6.136 aberto em 8 de fev. de 2023

Ver no GitHubGuia do colaborador
 (1 comentário) (1 reação) (0 responsável)Rust (1.965 forks)batch import
cube storehelp wanted

Métricas do repositório

Stars
 (19.563 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Describe the bug Errors like:

Error during Metastore upload: CubeError { message: "File metastore-1675803621852-logs/2.flex can't be listed after upload. Either there's Cube Store cluster misconfiguration, or storage can't provide the required consistency.", backtrace: "", cause: Internal }

for every uploaded file to s3 if subpath starts with /

To Reproduce Steps to reproduce the behavior: Deploy cubestore with AWS s3 storage and use a subpath with leading /

Expected behavior Error shouldnt happen as AWS now provides strong read-after-write consistency

Screenshots Check related slack thread

Minimally reproducible Cube Schema

Version: master

Additional context Related rust-s3 open issue: https://github.com/durch/rust-s3/issues/203

I fixed it by removing the leading / on my subpath, but cubestore should be able to manage this case silently.

Guia do colaborador

Direção de pesquisa
Investigue o código de armazenamento S3 do Cubestore, provavelmente nos arquivos fonte Rust. Procure onde a configuração do subcaminho é usada durante a listagem ou upload de arquivos. A correção envolve remover uma barra inicial do subcaminho, se presente. Revise o problema relacionado do rust s3 (https://github.com/durch/rust s3/issues/203) para obter insights. Certifique se de que a alteração lide com ambos os casos (com e sem barra inicial) sem quebrar a funcionalidade existente.
Pilha de tecnologia
rust
Domain
backendcloud
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75