sparklemotion/nokogiri

JRuby: UtfHelpper.writeCharToUtf8 cannot handle unicode supplementary character

Open

#2410 aperta il 5 gen 2022

Vedi su GitHub
 (9 commenti) (0 reazioni) (0 assegnatari)Ruby (806 fork)batch import
blockedhelp wantedplatform/jrubytopic/encoding

Metriche repository

Star
 (5615 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

https://github.com/sparklemotion/nokogiri/blob/55029bfba481338825c99e78af2b182b1cc49e04/ext/java/nokogiri/internals/c14n/UtfHelpper.java#L51

since the Canonicalizer process input String character by character. Java uses 16 bits to represent a character; when the input string contains Unicode characters whose code pen are larger than 0Xffff（65535) it will be split into two char, since neither char will not be
recognized, the Unicode characters will be transferred to 2 ??(3f) instead.

for example, if I want to canonicalize an input that contains 𡏅 via c14n, in the output, 𡏅 will be replaced with ??

Guida contributor

Direzione di ricerca
Il problema si trova in UtfHelpper.java, specificamente nel metodo writeCharToUtf8 che elabora i caratteri individualmente, fallendo per i caratteri supplementari (code point > U+FFFF). La correzione dovrebbe gestire le coppie di surrogati, iterando sulla stringa utilizzando codePointAt o simili. Fare riferimento alla riga 51 nel file sorgente collegato.
Tech stack
javaruby
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaUnicode
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50