bfcneedsupdate() compares 'expires' by date, so short max-age resources are stale immediately after download
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 67/100
Rechercherichtung
Start in R/BiocFileCache-class.R at the bfcneedsupdate() expiry check near line 1024, then inspect its tests for expiry and ETag/Last-Modified behavior. Reproduce with a resource whose max-age is shorter than the time until midnight; the fix is done when it is not marked stale immediately after download and the existing freshness checks still behave correctly.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Problem
bfcneedsupdate() checks expiry by calendar date:
https://github.com/Bioconductor/BiocFileCache/blob/devel/R/BiocFileCache-class.R#L1024
expired <- as.Date(file_expires, optional=TRUE) <= Sys.Date()
expires is set to response time + max-age (since #55). When max-age is shorter than the time left until midnight, the expiry date is today. The check is then TRUE immediately, and because expired short-circuits the ETag/Last-Modified comparison, the resource reports as stale right after download.
bioconductor.org now serves files through Cloudflare with short max-age values, so this affects most Bioconductor-hosted resources:
| URL | cache-control |
|---|---|
packages/stats/bioc/bioc_pkg_stats.tab |
max-age=300, s-maxage=3600 |
checkResults/devel/bioc-LATEST/BUILD_STATUS_DB.txt |
max-age=300, s-maxage=31536000 |
packages/3.23/bioc/VIEWS |
max-age=30, s-maxage=31536000 |
Reprex
BiocFileCache 3.2.0 (release); the same line is in devel 3.3.3.
library(BiocFileCache)
url <- "https://bioconductor.org/packages/stats/bioc/bioc_pkg_stats.tab"
bfc <- BiocFileCache(tempfile(), ask = FALSE)
bfcadd(bfc, rname = url, fpath = url, rtype = "web", action = "copy", download = TRUE)
rid <- bfcquery(bfc, url, "rname", exact = TRUE)$rid
bfcinfo(bfc, rid)$expires # a few minutes from now, i.e. today
bfcneedsupdate(bfc, rid) # TRUE, seconds after the download
Impact
Any package that does if (bfcneedsupdate(...)) bfcdownload(...) on these URLs re-downloads them on every call, so the cache does nothing. BiocPkgTools hit this as a test failure on r-universe (seandavi/BiocPkgTools#92) and worked around it in seandavi/BiocPkgTools#93 by doing its own size/ETag/Last-Modified check.
Suggested fix
Compare full timestamps instead of dates, e.g.
expired <- as.POSIXct(file_expires, tz = "GMT", optional = TRUE) <= Sys.time()
It would also be worth considering whether an expired entry should fall through to the ETag / Last-Modified check rather than returning TRUE outright. With max-age=30, a cache that has merely passed max-age is usually still current, and a matching ETag is stronger evidence than expiry.
- Vorherrschende Sprache
- R
- Sterne
- 14
- Forks
- 9
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Bioconductor/BiocFileCache
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Bioconductor/BiocFileCache#76 · 1 Kommentar ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
Bioconductor/BiocFileCache#72 · 3 Kommentare ·
-
Error in .util_downloadOffen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 25/100
Bioconductor/BiocFileCache#66 · 16 Kommentare ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
Bioconductor/BiocFileCache#60 · 3 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
Alle Issues in Bioconductor/BiocFileCache
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
HelenaLC/spatialdataR#295 ·
-
size-time-budget
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 69/100
kapelner/EDI#66 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Openscapes/blogscapes#61 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug posit-ai
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100