URL fetch sends default python-requests User-Agent, Wikipedia returns 403

Aperta Adatta ai principianti
  • Qualcosa non va?
#2,820 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
82/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
backend

Direzione di ricerca

La sessione è configurata in MarkItDown.__init__ in src/markitdown/_markitdown.py, che imposta un header Accept ma nessun User-Agent. Leggi come questa sessione viene usata per il recupero degli URL, poi esegui lo snippet di riproduzione dell'issue per confermare il 403. È completato quando l'URL di Wikipedia viene convertito con le impostazioni predefinite e la stessa sessione continua a inviare gli header esistenti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Converting a Wikipedia URL fails with 403 because the shared HTTP fetch sends the default python-requests User-Agent, which Wikipedia blocks.

Repro:

from markitdown import MarkItDown
md = MarkItDown()
md.convert('https://en.wikipedia.org/wiki/Python_(programming_language)')

Output (markitdown at 7482c09, Python 3.13.17, requests 2.34.2):

requests.exceptions.HTTPError: 403 Client Error: Forbidden for url: https://en.wikipedia.org/wiki/Python_(programming_language)

The same URL returns 200 with curl's default UA and with requests plus a browser UA, and 403 with requests default UA, so it is the UA, not the URL:

curl default UA -> 200
python-requests default UA -> 403
requests + Mozilla/5.0 UA -> 200

Cause: MarkItDown.__init__ in src/markitdown/_markitdown.py sets a custom Accept header on its session but no User-Agent, so every URL fetch goes out as python-requests/x.y.z. The dedicated WikipediaConverter never gets reached for live URLs because the fetch fails first.

Lingua principale
Python
Stelle
194k
Fork
14.5k
Merge medio
24m
PR unite (30g)
7

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di microsoft/markitdown

Tutte le issue di microsoft/markitdown

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.