golang/go

x/text: iterator does not handle zero width joiner

Open

#60 522 ouverte le 30 mai 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Go (19 008 forks)batch import
ExpertNeededNeedsInvestigationhelp wanted

Métriques du dépôt

Stars
 (133 883 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

What version of Go are you using (go version)?

Does this issue reproduce with the latest release?

Yes

What operating system and processor architecture are you using (go env)?

I'm using the go playground

What did you do?

package main

import (
	"fmt"

	"golang.org/x/text/unicode/norm"
)

func main() {
	var ia norm.Iter
	s := "👩🏾‍🦰👱🏾🧑🏾‍⚖️"

	ia.InitString(norm.NFD, s)
	rev := ""

	for !ia.Done() {
		n := ia.Next()
		rev = string(n) + rev
	}

	fmt.Println(rev)
}

Playground: https://go.dev/play/p/Jq9CnUd2zA8

What did you expect to see?

It should print 🧑🏾‍⚖️👱🏾👩🏾‍🦰

I think it has to do with the library not handling zero width joiners. If I use this string: "😀😂" it works as expected.

What did you see instead?

️⚖‍🏾🧑🏾👱🦰‍🏾👩

Guide contributeur

Direction de recherche
Le problème est un bogue connu dans le type Iter du package norm, comme indiqué par le mainteneur mpvl dans un commentaire. L'itérateur ne gère pas correctement les zero width joiner et autres caractères de combinaison s'étendant sur plusieurs valeurs scalaires Unicode. La recherche doit se concentrer sur l'implémentation de norm.Iter (probablement dans golang.org/x/text/unicode/norm) pour comprendre comment les limites sont déterminées et comment traiter correctement les séquences ZWJ. Examinez les méthodes Next et Done, et réfléchissez à la manière de traiter ZWJ comme un caractère non coupable. Le playground lié montre la sortie inversée incorrecte.
Stack technique
go
Domaine
internationalization
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70