psf/requests-html

When requesting a page that is ISO-8859-1 encoded, HTML is still interpreted as UTF-8

Open

#442 aberto em 27 de jan. de 2021

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (976 forks)batch import
help wanted

Métricas do repositório

Stars
 (13.555 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

When requesting a page that is ISO-8859-1 encoded:

>>> r = session.get('https://gerda.geus.dk/Gerda/Search')
>>> r.encoding
'ISO-8859-1'
>>> r.html.default_encoding
'ISO-8859-1'
>>> r.html.encoding
'utf8'
>>> r.html.find("option")[-1].text
'Bygge-anl�g'

Expected behavior:

>>> r.html.find("option")[-1].text
'Bygge-anlæg'

As far as I can see, there are two problems:

  • r.html.encoding is incorrectly set
  • r.html.element (The PyQuery instance) does not take encoding into account at all but just assumes utf-8

Guia do colaborador

Direção de pesquisa
O problema identifica dois problemas específicos: `r.html.encoding` está definido incorretamente e a instância `PyQuery` não considera a codificação. Comece examinando o arquivo `requests html.py` para entender como os atributos `encoding` e `default encoding` são tratados. Veja o construtor da classe `HTML` e como ele inicializa o PyQuery. Considere modificar a detecção de codificação para usar a apparent encoding da resposta e garantir que o PyQuery receba a codificação correta. Verifique se há testes no conjunto de testes relacionados à codificação para orientar a correção.
Pilha de tecnologia
pythonhtml
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python basicsHTML parsingCharacter encoding
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65