`String::from_utf8_lossy` is 6–19x slower than str::from_utf8 on valid ASCII

Abierto
#165,973 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
45/100
Tipo de issue
Nueva funcionalidad
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
rust
Área
backend

Línea de trabajo

Start with Utf8Chunks::next in library/core/src/str/lossy.rs, which checks bytes one at a time, and compare it with the word-at-a-time ASCII skip in library/core/src/str/validations.rs. Run the repro in the issue to confirm the ratio on 1 MiB of ASCII versus German and Russian text. Done means the ASCII case gets close to str::from_utf8 speed while the German and Russian timings and the existing lossy tests stay unchanged.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

A-str C-optimization T-libs

On 1 MiB of valid ASCII, String::from_utf8_lossy takes about 260 µs while str::from_utf8 takes about 17 µs, although both validate the whole input and return it borrowed. from_utf8 skips ASCII a word at a time (library/core/src/str/validations.rs), whereas Utf8Chunks::next in library/core/src/str/lossy.rs checks byte by byte. On German or Russian text the two are equally fast, so only the ASCII fast path is missing, and everything built on utf8_chunks() pays the same cost.

Repro:

use std::hint::black_box;
use std::time::Instant;

fn micros<R>(mut f: impl FnMut() -> R) -> f64 {
    let mut best = f64::MAX;
    for _ in 0..5 {
        let t = Instant::now();
        for _ in 0..50 {
            black_box(f());
        }
        best = best.min(t.elapsed().as_secs_f64() / 50.0);
    }
    best * 1e6
}

fn main() {
    const LEN: usize = 1 << 20;
    let inputs = [
        ("ascii", "lorem ipsum dolor sit amet ".repeat(LEN / 27)),
        ("german", "Größe über Straße, schön für Käufer ".repeat(LEN / 42)),
        ("russian", "Привет мир, это проверка строки ".repeat(LEN / 58)),
    ];

    println!("{:<10} {:>14} {:>22} {:>8}", "1 MiB", "from_utf8 (us)", "from_utf8_lossy (us)", "ratio");
    for (name, text) in &inputs {
        let bytes = text.as_bytes();
        let strict = micros(|| std::str::from_utf8(black_box(bytes)).unwrap().len());
        let lossy = micros(|| String::from_utf8_lossy(black_box(bytes)).len());
        println!("{name:<10} {strict:>14.1} {lossy:>22.1} {:>7.1}x", lossy / strict);
    }
}
Lenguaje dominante
Rust
Estrellas
122k
Forks
16.7k
Merge medio
2 d 16 h
PR fusionados (30 d)
515

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de rust-lang/rust

Todos los issues de rust-lang/rust

Issues similares

Más issues de Rust

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.