Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`

オープン

#214 2024年11月11日に作成コメント 1 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 2/5
見積もり時間: 1〜3時間
初心者へのやさしさ: 45/100

issue の種類: 機能追加
明瞭さ: おおむね明確
活発さ: 停滞
技術スタック: python
領域: backend

調査の方向性

stream_file の実装を特定し、upload.wikimedia.org に対するダウンロードをどのように処理しているか確認してください。リンクされている Wikimedia の User-Agent ポリシーを読み、そのうえで、そのホストへのリクエストが各 scraper に変更を加えることなく準拠した User-Agent を使用していることを検証してください。Issue では特定のテストファイルに言及していないため、既存の stream_file テストがある場所でカバレッジを追加または更新してください。

索引モデルが issue の本文から書いたものです。

説明

enhancement question

For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy

Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).

主要言語: Python
スター: 31
フォーク: 27
平均マージ: 3日 7時間
マージ済み PR（30日）: 2

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

openzim/python-scraperlib のほかの issue

HTML rewriting: also rewrite `poster` attribute オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

openzim/python-scraperlib#339 · 2026年9月16日に作成
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py オープン

enhancement

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

openzim/python-scraperlib#292 · 2026年4月11日に作成
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 35/100

openzim/python-scraperlib#341 · 2026年9月17日に作成
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 45/100

openzim/python-scraperlib#340 · 2026年9月17日に作成
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr オープン

bug

openzim/python-scraperlib#334 · 担当者 1 名 · 2026年8月21日に作成

openzim/python-scraperlib の issue をすべて見る

似ている issue

[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell オープン

area: harness bug status: needs-triage

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Human-Agent-Society/reef#625 · 2026年9月24日に作成
Bump transitive axios to >=1.18.0 to address GHSA-hcpx-6fm6-wx23 オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

coinbase/cdp-sdk#828 · 2026年9月24日に作成
AccessibleResourceCard/AccessibleChannelCard crash when a resource has more than one learning activity (getActivityTags returns an object instead of an array) オープン

難易度 1/5 1時間未満初心者へのやさしさ 80/100

learningequality/kolibri#15351 · コメント 2 件 · 2026年9月24日に作成
audeer.path(): optionally expand environment variables オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

audeering/audeer#212 · コメント 1 件 · 2026年9月24日に作成
Name consistency オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

eellak/triplestore#65 · コメント 1 件 · 2026年9月24日に作成

Python の issue をもっと見る