psf/requests-html

When requesting a page that is ISO-8859-1 encoded, HTML is still interpreted as UTF-8

Open

#442 ouverte le 27 janv. 2021

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (976 forks)batch import
help wanted

Métriques du dépôt

Stars
 (13 555 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

When requesting a page that is ISO-8859-1 encoded:

>>> r = session.get('https://gerda.geus.dk/Gerda/Search')
>>> r.encoding
'ISO-8859-1'
>>> r.html.default_encoding
'ISO-8859-1'
>>> r.html.encoding
'utf8'
>>> r.html.find("option")[-1].text
'Bygge-anl�g'

Expected behavior:

>>> r.html.find("option")[-1].text
'Bygge-anlæg'

As far as I can see, there are two problems:

  • r.html.encoding is incorrectly set
  • r.html.element (The PyQuery instance) does not take encoding into account at all but just assumes utf-8

Guide contributeur

Direction de recherche
Le problème identifie deux problèmes spécifiques : `r.html.encoding` est incorrectement défini et l'instance `PyQuery` ne prend pas en compte l'encodage. Commencez par examiner le fichier `requests html.py` pour comprendre comment les attributs `encoding` et `default encoding` sont gérés. Regardez le constructeur de la classe `HTML` et comment il initialise PyQuery. Envisagez de modifier la détection d'encodage pour utiliser l'apparent encoding de la réponse et assurez vous que PyQuery reçoit le bon encodage. Vérifiez s'il existe des tests dans la suite de tests liés à l'encodage pour guider la correction.
Stack technique
pythonhtml
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python basicsHTML parsingCharacter encoding
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65