Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`

未关闭

#214 创建于 2024年11月11日 1 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 2/5
预计耗时: 1-3 小时
新手友好度: 45/100

Issue 类型: 功能
描述清晰度: 基本清楚
活跃度: 停滞
技术栈: python
领域: backend

调研方向

定位 stream_file 的实现，并检查它如何处理针对 upload.wikimedia.org 的下载。阅读链接的 Wikimedia User-Agent 政策，然后验证向该主机发出的请求使用符合要求的 User-Agent，而不需要在每个 scraper 中进行更改。Issue 没有提到具体的测试文件，因此请在现有 stream_file 测试所在的位置添加或更新覆盖范围。

由索引模型根据 Issue 内容生成。

描述

enhancement question

For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy

Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).

主要语言: Python
星标: 31
派生: 27
平均合并: 3 天 7 小时
30 天内合并 PR: 2

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

openzim/python-scraperlib 的其他 Issue

HTML rewriting: also rewrite `poster` attribute 未关闭

bug

难度 2/5 1-3 小时新手友好度 72/100

openzim/python-scraperlib#339 · 2026年9月16日创建
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py 未关闭

enhancement

难度 2/5 1-3 小时新手友好度 68/100

openzim/python-scraperlib#292 · 2026年4月11日创建
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry 未关闭

bug

难度 4/5 3-5 天新手友好度 35/100

openzim/python-scraperlib#341 · 2026年9月17日创建
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` 未关闭

bug

难度 3/5 1-2 天新手友好度 45/100

openzim/python-scraperlib#340 · 2026年9月17日创建
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr 未关闭

bug

openzim/python-scraperlib#334 · 已指派 1 人 · 2026年8月21日创建

查看 openzim/python-scraperlib 的全部 Issue

相似的 Issue

issue: imported chats all show as unread in the sidebar 未关闭

bug confirmed issue

难度 2/5 1-3 小时新手友好度 75/100

open-webui/open-webui#30750 · 1 条评论 · 2026年9月24日创建
OGS AmBe example has no source.timing block, so every event sits at time zero 未关闭

难度 2/5 1-3 小时新手友好度 75/100

lanl/ScintiPix#61 · 2026年9月24日创建
Make Liquid Glass the default theme for the Research build 未关闭

enhancement

难度 2/5 1-3 小时新手友好度 75/100

OpenwaterHealth/openmotion-bloodflow-app#604 · 1 条评论 · 2026年9月24日创建
tests/puppeteer/test_openai_api_key_ui.js targets controls that do not exist and is run by no workflow 未关闭

难度 2/5 1-3 小时新手友好度 70/100

LearningCircuit/local-deep-research#6766 · 2026年9月23日创建
Delete unused args argument from main() in Python files 未关闭

good first issue

难度 1/5 1 小时以内新手友好度 90/100

ros2/launch#1014 · 2026年9月23日创建

更多 Python Issue