dotnet/runtime

Regex incorrectly identify surrogate pair unicode category

Open

#16.922 aperta il 7 apr 2016

Vedi su GitHub
 (41 commenti) (2 reazioni) (0 assegnatari)C# (5445 fork)batch import
area-System.Text.RegularExpressionsbughelp wanted

Metriche repository

Star
 (17.886 star)
Metriche merge PR
 (Merge medio 12g 11h) (661 PR mergiate in 30 g)

Descrizione

This defect makes regex useless when you need to match string using unicode categories and string could contain surrogate pairs:

        [Test]
        public void ClassifySurrogates_Test()
        {
            var value = "𦕒";
            var regexLetters = new Regex(@"^\p{Lo}$");

            var regexSurrogates = new Regex(@"^\p{Cs}{2}$");

            Assert.AreEqual(UnicodeCategory.OtherLetter, char.GetUnicodeCategory(value, 0));
            Assert.AreEqual(UnicodeCategory.OtherLetter, CharUnicodeInfo.GetUnicodeCategory(value, 0));
            Assert.True(regexSurrogates.IsMatch(value));

            // Fails here
            Assert.True(regexLetters.IsMatch(value));
        }

Guida contributor

Direzione di ricerca
Esamina la gestione delle categorie Unicode da parte del motore delle espressioni regolari per le coppie di surrogati. Traccia il percorso del codice per \p{Lo} e assicurati che corrisponda correttamente ai caratteri superiori a U+FFFF.
Tech stack
csharp
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitC#RegexUnicode
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70