List of a prefix 503s when a single object key contains an empty path segment (//)
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 55/100
Línea de trabajo
Comienza rastreando el manejo de páginas de ListObjectsV2 hasta la llamada estricta a Path::parse descrita en el issue y, después, inspecciona las pruebas existentes relacionadas con las listas. Reproduce el problema con una clave que contenga // y verifica que una clave no válida ya no provoque que todo el listado del prefijo devuelva 503, mientras que la clave problemática se omita con una advertencia o se gestione de forma tolerante.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
When a ListObjectsV2 page returned by the backend contains a single object whose key has an empty path segment (a //), multistore fails the entire list request with 503 ServiceUnavailable instead of listing the other (valid) keys. One malformed object key takes out the whole prefix.
object_store's strict Path parser rejects empty segments, and multistore propagates that as a fatal backend error for the page rather than skipping the offending key.
Observed error
Proxy log:
[WARN] multistore::proxy: request failed {
error=backend error: Encountered object with invalid path:
Path "raw//" contained empty path segment,
status=503, s3_code=ServiceUnavailable
}
Client just sees the generic:
An error occurred (ServiceUnavailable) when calling the ListObjectsV2 operation
(reached max retries: 2): Service unavailable
Reproduction
An object genuinely exists in S3 with a // in its key (double slash after raw/):
s3://.../raw//b.e21.BW.f09_g17.SSP245-TSMLT-GAUSS-DELAYED-2045.001/atm/proc/tseries/day_1/....nc
aws s3 ls --no-sign-request against the raw bucket lists it fine (S3 keys are opaque byte strings and // is legal). Listing the same prefix through multistore 503s.
Only prefixes that contain such a key fail; sibling prefixes list normally.
Impact
A single stray upload with a double slash (or a zero-byte folder-marker object ending in //) makes an entire prefix unlistable through the gateway, with an error that gives the operator no hint about which object or why. S3 itself accepts and serves these keys, so the gateway is stricter than the backend it fronts.
Suggested fix
On list, don't let one unparseable key fail the page. Options:
- Skip keys that fail strict
Path::parse, ideally logging the raw key atwarnso operators can find and fix it; or - Parse list keys leniently (
Path::from/from_url_path, which tolerate empty segments) instead of strictparse.
At minimum, surface the offending raw key in the error so it's diagnosable without correlating backend logs.
Environment
- multistore 0.6.3 (features:
azure), viamultistore-cf-workerson Cloudflare Workers - Backend: S3
- Lenguaje dominante
- Rust
- Estrellas
- 20
- Forks
- 1
- Merge medio
- 2 d 3 h
- PR fusionados (30 d)
- 11
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de developmentseed/multistore
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
developmentseed/multistore#160 ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 4/5 3-5 días Aptitud para principiantes 68/100
developmentseed/multistore#89 ·
Los mantenedores suelen responder en 1 día
-
oidc-provider: optional `oidc_session_name` backend-option to override RoleSessionName derivationAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
developmentseed/multistore#84 ·
Los mantenedores suelen responder en 1 día
-
Credential cache key (role ARN) doesn't capture the full minted identity (subject + extra_claims)Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
developmentseed/multistore#81 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
developmentseed/multistore#70 ·
Los mantenedores suelen responder en 1 día
Todos los issues de developmentseed/multistore
Issues similares
-
area:config area:security bug good first issue platform:linux platform:windows priority:medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
rtk-ai/rtk#4651 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
documentation P2
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
vllm-project/agentic-api#463 ·
Los mantenedores suelen responder en 2 días
-
bug good first issue priority:high
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Konfirm-xyz/konfirm-contracts#163 ·
Los mantenedores suelen responder en 1 día
-
GL backend reports vendor id 0 for AMD GPUs on Windows (GL_VENDOR is "ATI Technologies Inc.")Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día