Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`

Đang mở

#214 mở ngày 11/11/2024 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 2/5
Thời gian dự kiến: 1-3 giờ
Mức phù hợp với người mới: 45/100

Loại issue: Tính năng
Độ rõ ràng: Khá rõ ràng
Mức độ hoạt động: Đình trệ
Công nghệ: python
Lĩnh vực: backend

Hướng nghiên cứu

Xác định phần triển khai của stream_file và xem xét cách nó xử lý các lượt tải xuống đối với upload.wikimedia.org. Đọc chính sách Wikimedia User-Agent được liên kết, sau đó xác minh rằng các yêu cầu đến host đó sử dụng User-Agent tuân thủ quy định mà không yêu cầu thay đổi trong từng scraper. Issue không đề cập đến tệp kiểm thử cụ thể nào, vì vậy hãy thêm hoặc cập nhật coverage ở nơi các kiểm thử stream_file hiện có được đặt.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement question

For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy

Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).

Ngôn ngữ chính: Python
Star: 31
Fork: 27
Merge trung bình: 3 ngày 7 giờ
Pull request đã merge (30 ngày): 2

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của openzim/python-scraperlib

HTML rewriting: also rewrite `poster` attribute Đang mở

bug

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100

openzim/python-scraperlib#339 · Mở ngày 16/9/2026
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py Đang mở

enhancement

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

openzim/python-scraperlib#292 · Mở ngày 11/4/2026
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry Đang mở

bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

openzim/python-scraperlib#341 · Mở ngày 17/9/2026
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` Đang mở

bug

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

openzim/python-scraperlib#340 · Mở ngày 17/9/2026
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr Đang mở

bug

openzim/python-scraperlib#334 · 1 người được giao · Mở ngày 21/8/2026

Tất cả issue của openzim/python-scraperlib

Issue tương tự

[essnmx] Fix typo in NXLauetof application definition Đang mở

essnmx good first issue

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100

scipp/ess#760 · Mở ngày 23/9/2026
[Feature] 奇物选择添加优先级 Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

syfoud/Simulated_Scepter#174 · Mở ngày 23/9/2026
garak adapter grades a NaN detector score as PASS Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

Giskard-AI/giskard-oss#2840 · 1 bình luận · Mở ngày 23/9/2026
A claim comment carrying the issue number is silently declined while the workflow reports success Đang mở

area: repo bug perceived difficulty: 2

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

Nitjsefnie-Harness-Commons/daedalus#926 · Mở ngày 23/9/2026
`IOCExtractor` always fails: `ioc_analyzer.build()` takes 1 argument but the agent dispatcher passes 2 Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

yeti-platform/yeti#1380 · Mở ngày 23/9/2026

Thêm issue về Python