`String::from_utf8_lossy` is 6–19x slower than str::from_utf8 on valid ASCII
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
Línea de trabajo
Start with Utf8Chunks::next in library/core/src/str/lossy.rs, which checks bytes one at a time, and compare it with the word-at-a-time ASCII skip in library/core/src/str/validations.rs. Run the repro in the issue to confirm the ratio on 1 MiB of ASCII versus German and Russian text. Done means the ASCII case gets close to str::from_utf8 speed while the German and Russian timings and the existing lossy tests stay unchanged.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
On 1 MiB of valid ASCII, String::from_utf8_lossy takes about 260 µs while str::from_utf8 takes about 17 µs, although both validate the whole input and return it borrowed. from_utf8 skips ASCII a word at a time (library/core/src/str/validations.rs), whereas Utf8Chunks::next in library/core/src/str/lossy.rs checks byte by byte. On German or Russian text the two are equally fast, so only the ASCII fast path is missing, and everything built on utf8_chunks() pays the same cost.
Repro:
use std::hint::black_box;
use std::time::Instant;
fn micros<R>(mut f: impl FnMut() -> R) -> f64 {
let mut best = f64::MAX;
for _ in 0..5 {
let t = Instant::now();
for _ in 0..50 {
black_box(f());
}
best = best.min(t.elapsed().as_secs_f64() / 50.0);
}
best * 1e6
}
fn main() {
const LEN: usize = 1 << 20;
let inputs = [
("ascii", "lorem ipsum dolor sit amet ".repeat(LEN / 27)),
("german", "Größe über Straße, schön für Käufer ".repeat(LEN / 42)),
("russian", "Привет мир, это проверка строки ".repeat(LEN / 58)),
];
println!("{:<10} {:>14} {:>22} {:>8}", "1 MiB", "from_utf8 (us)", "from_utf8_lossy (us)", "ratio");
for (name, text) in &inputs {
let bytes = text.as_bytes();
let strict = micros(|| std::str::from_utf8(black_box(bytes)).unwrap().len());
let lossy = micros(|| String::from_utf8_lossy(black_box(bytes)).len());
println!("{name:<10} {strict:>14.1} {lossy:>22.1} {:>7.1}x", lossy / strict);
}
}
- Lenguaje dominante
- Rust
- Estrellas
- 122k
- Forks
- 16.7k
- Merge medio
- 2 d 16 h
- PR fusionados (30 d)
- 515
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de rust-lang/rust
-
Remove unnecessary parentheses when suggesting to remove '&' from a patternPosiblemente ocupada @BartSimpson001 la tomó hace 1 día. AbiertoA-diagnostics D-invalid-suggestion T-compiler
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Windows `File::set_permissions` silently does nothing when clearing `readonly` leaves `FileAttributes == 0`Posiblemente ocupada @ChrisDenton la tomó hace 11 días. AbiertoA-filesystem C-bug O-windows T-libs
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
A-run-make relnotes relnotes-needs-review relnotes-tracking-issue T-lang T-libs
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
A-LLVM O-Arm O-UEFI O-x86_64 relnotes relnotes-needs-review relnotes-tracking-issue T-compiler
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
rust-lang/rust#165504 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
relnotes relnotes-tracking-issue T-libs
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
Todos los issues de rust-lang/rust
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
bytecodealliance/wrpc#1785 ·
Los mantenedores suelen responder en 1 día
-
2 advisory ignore entries no longer match anything (`quick-xml` already patched in `Cargo.lock`)Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
longbridge/nsh#2758 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
antithesishq/bombadil#473 ·
Los mantenedores suelen responder en 2 días
-
bench/api.sh exec test fails with curl exit 52, and --ignore-failure still records the timingsAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
libracoder/kiri#669 ·
Los mantenedores suelen responder en 1 día