sparklemotion/nokogiri

JRuby: UtfHelpper.writeCharToUtf8 cannot handle unicode supplementary character

Open

#2.410 aberto em 5 de jan. de 2022

Ver no GitHub
 (9 comments) (0 reactions) (0 assignees)Ruby (806 forks)batch import
blockedhelp wantedplatform/jrubytopic/encoding

Métricas do repositório

Stars
 (5.615 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

https://github.com/sparklemotion/nokogiri/blob/55029bfba481338825c99e78af2b182b1cc49e04/ext/java/nokogiri/internals/c14n/UtfHelpper.java#L51

since the Canonicalizer process input String character by character. Java uses 16 bits to represent a character; when the input string contains Unicode characters whose code pen are larger than 0Xffff（65535) it will be split into two char, since neither char will not be
recognized, the Unicode characters will be transferred to 2 ??(3f) instead.

for example, if I want to canonicalize an input that contains 𡏅 via c14n, in the output, 𡏅 will be replaced with ??

Guia do colaborador

Direção de pesquisa
O problema está em UtfHelpper.java, especificamente no método writeCharToUtf8 que processa caracteres individualmente, falhando para caracteres suplementares (code points > U+FFFF). A correção deve lidar com pares substitutos, iterando sobre a string usando codePointAt ou similar. Consulte a linha 51 no arquivo de origem vinculado.
Pilha de tecnologia
javaruby
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaUnicode
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50