Replace panic calls with returned errors in scrapers
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Overview
Every scraper in the scrapers folder calls panic(err) when something goes wrong. This crashes the whole process and stops the scrape. Some scrapers run for a long time. For example, astra.go scrapes a full year of dates, and coursebook.go walks through every course prefix. If one HTTP request fails in the middle of a run, all the progress so far is lost.
Change the scrapers so that instead of calling panic(err), they return the error to the caller. Start with the smaller scraper files, for example scrapers/discounts.go and scrapers/map.go, then move to the larger ones. Do not change what the scrapers do, only how they report failures.
Some scrapers already use log.Fatal and log.Panic in a few places. Treat those the same way and return errors instead.
Resources
- Ngôn ngữ chính
- Go
- Star
- 12
- Fork
- 54
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của UTDNebula/api-tools
-
Improve unit tests in sectionParser_test.goCó thể làm lại được @Sidd-Pelluru đã nhận 28 ngày trước và không có pull request nào đang mở. Đang mởL1 recommended for recruits
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
-
Improve unit tests in discountsParser_test.goCó thể đã có người làm @LikithInam đã nhận 14 ngày trước. Đang mởL1 recommended for recruits
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
-
L1 recommended for recruits
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
-
Comet Calendar events with multiple locationsCó thể đã có người làm @azythromycin đã nhận 8 ngày trước. Đang mởL1 Type: Bug Report
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
Improve output in events.goCó thể đã có người làm @DennisOrtin đã nhận 18 ngày trước. Đang mởL1 recommended for recruits
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Tất cả issue của UTDNebula/api-tools
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
praetorianer777/Dynamo#53 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
kind/engineering pulumi/pulumi-terraform Task Workflow Failure
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 64/100
pulumi/pulumi-terraform#1261 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Controllers integration tests fail when port 8080 is in useCó thể đã có người làm @noahnut đã nhận hôm nay. Đang mởarea/cluster-autoscaler kind/bug needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
kubernetes-sigs/cluster-autoscaler#236 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày