Fix or rewrite scraper engine and scrapers
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- data-engineering
Hướng nghiên cứu
Bắt đầu bằng cách xác định scraper engine, master scraper, các scraper riêng lẻ và phần xử lý manifest được đề cập trong issue, sau đó kiểm tra cách các nguồn, ảnh chụp màn hình và phần mở rộng tệp được lựa chọn. Công việc được xem là hoàn tất khi các lỗi Demozoo và engine được liệt kê đã được sửa, các scraper khác đã được kiểm tra và một bộ kiểm thử cơ bản bao quát hành vi mong đợi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Many years have passed since its first release.
Known demozoo bug:
- it always select the first secondary mirror assuming that is from scene.org. This is wrong and should be carefully checked
- demozoo is missing the screenshots, it always downloads only the first one
Known scrape engine bugs:
- sometimes it sets "screenshots" to None: it should set that field to empty list if no screenshot detected
- it doesn't handle very well other extensions than gb, therefore, it may be a good idea to fix this thing, sometimes in the manifest there is "gbc" but the engine has already renamed the file in gb
Other improvements:
- change the general logic to become more flexible (e.g. select best source, include other extensions)
- write a basic test suite
- test from scratch other scrapers, since they may have become buggy due to change in the master scraper
- Ngôn ngữ chính
- C
- Star
- 95
- Fork
- 52
- Merge trung bình
- 7 giờ 33 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của gbdev/database
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 35/100
-
Tag gbcompo23 finalistsĐang mởdatabase
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 30/100
-
GBDK GalleryĐang mởsource
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
Tất cả issue của gbdev/database
Issue tương tự
-
Linux notifications: the default action's ' ' label shows as a blank button in xfce4-notifydĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
kovidgoyal/kitty#10625 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Feature Status: Needs Triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
docs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Maintainer thường phản hồi trong vòng 1 ngày
-
本機相簿無法上傳webm檔案Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
xiaojieonly/Ehviewer_CN_SXJ#2893 ·