Pass proper user-agent in `stream_file` when host is `upload.wikimedia.org`

Aperta

#214 aperta il 11/11/2024 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà: 2/5
Tempo stimato: 1-3 ore
Idoneità per principianti: 45/100

Tipo di issue: Funzionalità
Chiarezza: Abbastanza chiara
Stato di attività: Ferma
Stack tecnologico: python
Ambito: backend

Direzione di ricerca

Individua l’implementazione di stream_file e verifica come gestisce i download per upload.wikimedia.org. Leggi la policy di Wikimedia relativa a User-Agent collegata, quindi verifica che le richieste a quell’host utilizzino uno User-Agent conforme senza richiedere modifiche a ogni scraper. L’issue non indica alcun file di test specifico, quindi aggiungi o aggiorna la copertura dove si trovano i test stream_file esistenti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement question

For files hosted on upload.wikimedia.org, we must comply with their User-Agent policy at https://meta.wikimedia.org/wiki/User-Agent_policy

Doing so at scraperlib level in stream_file (main methods using in many scraper to download files / assets) would help avoid having to do so in every scraper (and forget about it over and over).

Lingua principale: Python
Stelle: 31
Fork: 27
Merge medio: 3g 7h
PR unite (30g): 2

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.
Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
Fai un fork del repository e lavora su un branch.
Apri una pull request che faccia riferimento al numero della issue.

Altre issue di openzim/python-scraperlib

HTML rewriting: also rewrite `poster` attribute Aperta

bug

Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

openzim/python-scraperlib#339 · Aperta il 16/9/2026
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py Aperta

enhancement

Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

openzim/python-scraperlib#292 · Aperta il 11/4/2026
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

openzim/python-scraperlib#341 · Aperta il 17/9/2026
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` Aperta

bug

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

openzim/python-scraperlib#340 · Aperta il 17/9/2026
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr Aperta

bug

openzim/python-scraperlib#334 · 1 assegnatario · Aperta il 21/8/2026

Tutte le issue di openzim/python-scraperlib

Issue simili

issue: imported chats all show as unread in the sidebar Aperta

bug confirmed issue

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

open-webui/open-webui#30750 · 1 commento · Aperta il 24/9/2026
OGS AmBe example has no source.timing block, so every event sits at time zero Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

lanl/ScintiPix#61 · Aperta il 24/9/2026
Make Liquid Glass the default theme for the Research build Aperta

enhancement

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

OpenwaterHealth/openmotion-bloodflow-app#604 · 1 commento · Aperta il 24/9/2026
tests/puppeteer/test_openai_api_key_ui.js targets controls that do not exist and is run by no workflow Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

LearningCircuit/local-deep-research#6766 · Aperta il 23/9/2026
Delete unused args argument from main() in Python files Aperta

good first issue

Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100

ros2/launch#1014 · Aperta il 23/9/2026

Altre issue su Python