Replace panic calls with returned errors in scrapers
评估
这个 Issue 还没有评估数据。
描述
Overview
Every scraper in the scrapers folder calls panic(err) when something goes wrong. This crashes the whole process and stops the scrape. Some scrapers run for a long time. For example, astra.go scrapes a full year of dates, and coursebook.go walks through every course prefix. If one HTTP request fails in the middle of a run, all the progress so far is lost.
Change the scrapers so that instead of calling panic(err), they return the error to the caller. Start with the smaller scraper files, for example scrapers/discounts.go and scrapers/map.go, then move to the larger ones. Do not change what the scrapers do, only how they report failures.
Some scrapers already use log.Fatal and log.Panic in a few places. Treat those the same way and return errors instead.
Resources
- 主要语言
- Go
- 星标
- 12
- 派生
- 54
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
UTDNebula/api-tools 的其他 Issue
-
Improve unit tests in sectionParser_test.go可能重新可做 @Sidd-Pelluru 于 31 天前认领,目前没有进行中的 PR。 未关闭L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 88/100
-
Improve unit tests in discountsParser_test.go可能已有人在做 @LikithInam 于 17 天前认领。 未关闭L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 88/100
-
L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 85/100
-
Comet Calendar events with multiple locations可能已有人在做 @azythromycin 于 11 天前认领。 未关闭L1 Type: Bug Report
难度 2/5 1-3 小时 新手友好度 76/100
-
Improve output in events.go可能已有人在做 @DennisOrtin 于 21 天前认领。 未关闭L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 76/100
查看 UTDNebula/api-tools 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 82/100
eugenioenko/ttt#1206 ·
维护者通常 1 天内回复
-
t:urlDecodeUni does not map U+3002 and U+FF61 to a dot, unlike ModSecurity可能已有人在做 @fzipi 今天认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
peasant-labs/peasant#738 ·
维护者通常 1 天内回复
-
Duplicate review still bridges two books through a bundle whose first part has a colon subtitle可能已有人在做 @vavallee 今天认领。 未关闭area:library-scan bug priority:low
难度 2/5 1-3 小时 新手友好度 83/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复