List of a prefix 503s when a single object key contains an empty path segment (//)
I maintainer di solito rispondono entro 1 giorno
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 55/100
Direzione di ricerca
Inizia tracciando la gestione delle pagine di ListObjectsV2 fino alla chiamata rigida a Path::parse descritta nell'issue, quindi esamina i test esistenti relativi alle liste. Riproduci il problema con una chiave contenente // e verifica che una chiave non valida non faccia più restituire 503 all'intero elenco del prefisso, mentre la chiave interessata viene saltata con un avviso oppure gestita in modo permissivo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
When a ListObjectsV2 page returned by the backend contains a single object whose key has an empty path segment (a //), multistore fails the entire list request with 503 ServiceUnavailable instead of listing the other (valid) keys. One malformed object key takes out the whole prefix.
object_store's strict Path parser rejects empty segments, and multistore propagates that as a fatal backend error for the page rather than skipping the offending key.
Observed error
Proxy log:
[WARN] multistore::proxy: request failed {
error=backend error: Encountered object with invalid path:
Path "raw//" contained empty path segment,
status=503, s3_code=ServiceUnavailable
}
Client just sees the generic:
An error occurred (ServiceUnavailable) when calling the ListObjectsV2 operation
(reached max retries: 2): Service unavailable
Reproduction
An object genuinely exists in S3 with a // in its key (double slash after raw/):
s3://.../raw//b.e21.BW.f09_g17.SSP245-TSMLT-GAUSS-DELAYED-2045.001/atm/proc/tseries/day_1/....nc
aws s3 ls --no-sign-request against the raw bucket lists it fine (S3 keys are opaque byte strings and // is legal). Listing the same prefix through multistore 503s.
Only prefixes that contain such a key fail; sibling prefixes list normally.
Impact
A single stray upload with a double slash (or a zero-byte folder-marker object ending in //) makes an entire prefix unlistable through the gateway, with an error that gives the operator no hint about which object or why. S3 itself accepts and serves these keys, so the gateway is stricter than the backend it fronts.
Suggested fix
On list, don't let one unparseable key fail the page. Options:
- Skip keys that fail strict
Path::parse, ideally logging the raw key atwarnso operators can find and fix it; or - Parse list keys leniently (
Path::from/from_url_path, which tolerate empty segments) instead of strictparse.
At minimum, surface the offending raw key in the error so it's diagnosable without correlating backend logs.
Environment
- multistore 0.6.3 (features:
azure), viamultistore-cf-workerson Cloudflare Workers - Backend: S3
- Lingua principale
- Rust
- Stelle
- 20
- Fork
- 1
- Merge medio
- 2g 3h
- PR unite (30g)
- 11
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di developmentseed/multistore
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
developmentseed/multistore#160 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100
developmentseed/multistore#89 ·
I maintainer di solito rispondono entro 1 giorno
-
oidc-provider: optional `oidc_session_name` backend-option to override RoleSessionName derivationAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
developmentseed/multistore#84 ·
I maintainer di solito rispondono entro 1 giorno
-
Credential cache key (role ARN) doesn't capture the full minted identity (subject + extra_claims)Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
developmentseed/multistore#81 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
developmentseed/multistore#70 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di developmentseed/multistore
Issue simili
-
`[daemons]` fails to resolve standalone file tasks by their display name (`runs unknown task`)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 3 giorni
-
[BUG] Filename sequence expansion (`+`) panics on numeric values exceeding `i32::MAX`Forse già presa @muntasir-396 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
CCExtractor/ccextractor#2402 ·
I maintainer di solito rispondono entro 1 giorno
-
Nushell launcher failure.Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100