bfcadd() fails when checksum URL returns a non-404 error (e.g., HTTP 500)

Offen Anfängerfreundlich
#76 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
82/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
r
Bereich
backend

Rechercherichtung

Beginne bei .verify_download_checksum() in den R-Quellen von BiocFileCache, wo die optionalen Anforderungen <url>.sha256 und <url>.md5 über httr2 behandelt werden. Reproduziere das mit dem bfcadd()-Beispiel gegen die miRBase-URL und ändere dann Nicht-2xx-Antworten auf Checksummen und Anfragefehler so, dass sie „keine Checksumme verfügbar“ bedeuten, während Fehler bei tatsächlichen Abweichungen oder partiellen Downloads erhalten bleiben. Fertig bedeutet, dass der GFF3-Download mit einer Meldung/Warnung statt eines Abbruchs erfolgreich ist und die Pakettests weiterhin bestehen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Description

Since 3.3.1 ("Check md5sum or sha if available"), .verify_download_checksum()
requests <url>.sha256 and <url>.md5 after a download. Only HTTP 404/410
are treated as "checksum not available"; any other non-2xx status raises an
error. That makes the whole download fail, and the resource is removed from
the cache.

Some servers return 5xx (or 403, etc.) for files that don't exist. miRBase
is one example:

https://www.mirbase.org/download/hsa.gff3         -> 200
https://www.mirbase.org/download/hsa.gff3.sha256  -> 500
https://www.mirbase.org/download/hsa.gff3.md5     -> 500

Reproducible example

library(BiocFileCache)
bfc <- BiocFileCache(tempfile(), ask = FALSE)
bfcadd(bfc, rname = "https://www.mirbase.org/download/hsa.gff3",
       rtype = "web", download = TRUE)
#> Error: bfcadd() failed; see warnings()
warnings()
#>   download failed
#>   web resource path: 'https://www.mirbase.org/download/hsa.gff3'
#>   ...
#>   reason: Could not retrieve sha256 checksum: HTTP 500

The file itself downloads fine (curl, download.file(), and BiocFileCache
before 3.3.1 all work).

Expected behavior

The checksum is optional ("if available"), so failing to retrieve one
should not abort a download that succeeded. Only an actual checksum
mismatch (or a partial download) should be an error. Suggested change: in
.verify_download_checksum(), treat any non-2xx status for the checksum URL,
and any request error (e.g., wrap req_perform() in tryCatch()), as "no
checksum available" and move on to the next algorithm, perhaps with a
message()/warning(), rather than calling stop().

This currently breaks downstream vignettes on the devel build (e.g., Bioc.gff,
which caches the miRBase GFF3 with bfcadd()).

Session info

  • BiocFileCache 3.3.2
  • httr2 1.3.0
  • R 4.6 / Bioconductor devel
Vorherrschende Sprache
R
Sterne
14
Forks
9
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus Bioconductor/BiocFileCache

Alle Issues in Bioconductor/BiocFileCache

Ähnliche Issues

Weitere Issues zu R

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.