golang/go

x/text: iterator does not handle zero width joiner

Open

#60.522 geöffnet am 30. Mai 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Go (19.008 Forks)batch import
ExpertNeededNeedsInvestigationhelp wanted

Repository-Metriken

Stars
 (133.883 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

What version of Go are you using (go version)?

Does this issue reproduce with the latest release?

Yes

What operating system and processor architecture are you using (go env)?

I'm using the go playground

What did you do?

package main

import (
	"fmt"

	"golang.org/x/text/unicode/norm"
)

func main() {
	var ia norm.Iter
	s := "👩🏾‍🦰👱🏾🧑🏾‍⚖️"

	ia.InitString(norm.NFD, s)
	rev := ""

	for !ia.Done() {
		n := ia.Next()
		rev = string(n) + rev
	}

	fmt.Println(rev)
}

Playground: https://go.dev/play/p/Jq9CnUd2zA8

What did you expect to see?

It should print 🧑🏾‍⚖️👱🏾👩🏾‍🦰

I think it has to do with the library not handling zero width joiners. If I use this string: "😀😂" it works as expected.

What did you see instead?

️⚖‍🏾🧑🏾👱🦰‍🏾👩

Contributor Guide

Research-Richtung
Das Problem ist ein bekannter Fehler im Iter Typ des norm Pakets, wie von Maintainer mpvl in einem Kommentar vermerkt. Der Iterator verarbeitet Zero Width Joiner und andere kombinierende Zeichen, die sich über mehrere Unicode Skalarwerte erstrecken, nicht korrekt. Die Forschung sollte sich auf die Implementierung von norm.Iter (wahrscheinlich in golang.org/x/text/unicode/norm) konzentrieren, um zu verstehen, wie Grenzen bestimmt werden und wie ZWJ Sequenzen korrekt behandelt werden können. Betrachten Sie die Next und Done Methoden und überlegen Sie, wie ZWJ als ein nicht trennendes Zeichen behandelt werden kann. Der verlinkte Playground zeigt die falsche umgekehrte Ausgabe.
Tech Stack
go
Domain
internationalization
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Go
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70