psf/requests-html

When requesting a page that is ISO-8859-1 encoded, HTML is still interpreted as UTF-8

Open

#442 aperta il 27 gen 2021

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (976 fork)batch import
help wanted

Metriche repository

Star
 (13.555 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

When requesting a page that is ISO-8859-1 encoded:

>>> r = session.get('https://gerda.geus.dk/Gerda/Search')
>>> r.encoding
'ISO-8859-1'
>>> r.html.default_encoding
'ISO-8859-1'
>>> r.html.encoding
'utf8'
>>> r.html.find("option")[-1].text
'Bygge-anl�g'

Expected behavior:

>>> r.html.find("option")[-1].text
'Bygge-anlæg'

As far as I can see, there are two problems:

  • r.html.encoding is incorrectly set
  • r.html.element (The PyQuery instance) does not take encoding into account at all but just assumes utf-8

Guida contributor

Direzione di ricerca
Il problema identifica due problemi specifici: `r.html.encoding` è impostato in modo errato e l'istanza `PyQuery` non considera la codifica. Inizia esaminando il file `requests html.py` per capire come vengono gestiti gli attributi `encoding` e `default encoding`. Osserva il costruttore della classe `HTML` e come inizializza PyQuery. Considera di modificare il rilevamento della codifica per utilizzare la apparent encoding della risposta e assicurati che PyQuery riceva la codifica corretta. Controlla se ci sono test nella suite di test relativi alla codifica per guidare la correzione.
Tech stack
pythonhtml
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python basicsHTML parsingCharacter encoding
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65