Replace panic calls with returned errors in scrapers
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Overview
Every scraper in the scrapers folder calls panic(err) when something goes wrong. This crashes the whole process and stops the scrape. Some scrapers run for a long time. For example, astra.go scrapes a full year of dates, and coursebook.go walks through every course prefix. If one HTTP request fails in the middle of a run, all the progress so far is lost.
Change the scrapers so that instead of calling panic(err), they return the error to the caller. Start with the smaller scraper files, for example scrapers/discounts.go and scrapers/map.go, then move to the larger ones. Do not change what the scrapers do, only how they report failures.
Some scrapers already use log.Fatal and log.Panic in a few places. Treat those the same way and return errors instead.
Resources
- Lingua principale
- Go
- Stelle
- 12
- Fork
- 54
- Merge medio
- 2m
- PR unite (30g)
- 1
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di UTDNebula/api-tools
-
Improve unit tests in sectionParser_test.goForse già presa @Sidd-Pelluru l’ha presa 16 giorni fa. ApertaL1 recommended for recruits
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
L1 recommended for recruits
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
L1 recommended for recruits
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
-
L1 Type: Bug Report
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
-
Improve output in events.goForse già presa @DennisOrtin l’ha presa 6 giorni fa. ApertaL1 recommended for recruits
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Tutte le issue di UTDNebula/api-tools
Issue simili
-
bug triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
FairwindsOps/nova#484 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
automated-analysis code-quality cookie
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
github/gh-aw#67517 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
[otelcol] print-config help text still requires the removed otelcol.printInitialConfig feature gateForse già presa @girishkvs l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
open-telemetry/opentelemetry-collector#16143 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug good first issue load-balancing
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
ktrubilo9/edge-proxy#53 ·