cube-js/cube

Cubestore s3 fails when uploading with`File can't be listed after upload.` when subPath starts with /

Open

#6.136 geöffnet am 8. Feb. 2023

Auf GitHub ansehen
 (1 Kommentar) (1 Reaktion) (0 zugewiesene Personen)Rust (1.965 Forks)batch import
cube storehelp wanted

Repository-Metriken

Stars
 (19.563 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 16h) (138 gemergte PRs in 30 T)

Beschreibung

Describe the bug Errors like:

Error during Metastore upload: CubeError { message: "File metastore-1675803621852-logs/2.flex can't be listed after upload. Either there's Cube Store cluster misconfiguration, or storage can't provide the required consistency.", backtrace: "", cause: Internal }

for every uploaded file to s3 if subpath starts with /

To Reproduce Steps to reproduce the behavior: Deploy cubestore with AWS s3 storage and use a subpath with leading /

Expected behavior Error shouldnt happen as AWS now provides strong read-after-write consistency

Screenshots Check related slack thread

Minimally reproducible Cube Schema

Version: master

Additional context Related rust-s3 open issue: https://github.com/durch/rust-s3/issues/203

I fixed it by removing the leading / on my subpath, but cubestore should be able to manage this case silently.

Contributor Guide

Research-Richtung
Untersuchen Sie den Cubestore S3 Speichercode, wahrscheinlich in den Rust Quelldateien. Suchen Sie nach der Stelle, an der die Subpfad Konfiguration beim Auflisten oder Hochladen von Dateien verwendet wird. Die Korrektur beinhaltet das Entfernen eines führenden Schrägstrichs vom Subpfad, falls vorhanden. Überprüfen Sie das verwandte rust s3 Problem (https://github.com/durch/rust s3/issues/203) für Einblicke. Stellen Sie sicher, dass die Änderung beide Fälle (mit und ohne führenden Schrägstrich) behandelt, ohne die bestehende Funktionalität zu beeinträchtigen.
Tech Stack
rust
Domain
backendcloud
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Git
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75