cube-js/cube

Cubestore s3 fails when uploading with`File can't be listed after upload.` when subPath starts with /

Open

#6136 aperta il 8 feb 2023

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Rust (1965 fork)batch import
cube storehelp wanted

Metriche repository

Star
 (19.563 star)
Metriche merge PR
 (Merge medio 5g 16h) (138 PR mergiate in 30 g)

Descrizione

Describe the bug Errors like:

Error during Metastore upload: CubeError { message: "File metastore-1675803621852-logs/2.flex can't be listed after upload. Either there's Cube Store cluster misconfiguration, or storage can't provide the required consistency.", backtrace: "", cause: Internal }

for every uploaded file to s3 if subpath starts with /

To Reproduce Steps to reproduce the behavior: Deploy cubestore with AWS s3 storage and use a subpath with leading /

Expected behavior Error shouldnt happen as AWS now provides strong read-after-write consistency

Screenshots Check related slack thread

Minimally reproducible Cube Schema

Version: master

Additional context Related rust-s3 open issue: https://github.com/durch/rust-s3/issues/203

I fixed it by removing the leading / on my subpath, but cubestore should be able to manage this case silently.

Guida contributor

Direzione di ricerca
Indaga il codice di archiviazione S3 di Cubestore, probabilmente nei file sorgente Rust. Cerca dove la configurazione del sottopercorso viene utilizzata durante l'elenco o il caricamento dei file. La correzione comporta la rimozione di una barra iniziale dal sottopercorso, se presente. Rivedi il problema correlato di rust s3 (https://github.com/durch/rust s3/issues/203) per approfondimenti. Assicurati che la modifica gestisca entrambi i casi (con e senza barra iniziale) senza compromettere le funzionalità esistenti.
Tech stack
rust
Dominio
backendcloud
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75