`String::from_utf8_lossy` is 6–19x slower than str::from_utf8 on valid ASCII
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
Direzione di ricerca
Start with Utf8Chunks::next in library/core/src/str/lossy.rs, which checks bytes one at a time, and compare it with the word-at-a-time ASCII skip in library/core/src/str/validations.rs. Run the repro in the issue to confirm the ratio on 1 MiB of ASCII versus German and Russian text. Done means the ASCII case gets close to str::from_utf8 speed while the German and Russian timings and the existing lossy tests stay unchanged.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
On 1 MiB of valid ASCII, String::from_utf8_lossy takes about 260 µs while str::from_utf8 takes about 17 µs, although both validate the whole input and return it borrowed. from_utf8 skips ASCII a word at a time (library/core/src/str/validations.rs), whereas Utf8Chunks::next in library/core/src/str/lossy.rs checks byte by byte. On German or Russian text the two are equally fast, so only the ASCII fast path is missing, and everything built on utf8_chunks() pays the same cost.
Repro:
use std::hint::black_box;
use std::time::Instant;
fn micros<R>(mut f: impl FnMut() -> R) -> f64 {
let mut best = f64::MAX;
for _ in 0..5 {
let t = Instant::now();
for _ in 0..50 {
black_box(f());
}
best = best.min(t.elapsed().as_secs_f64() / 50.0);
}
best * 1e6
}
fn main() {
const LEN: usize = 1 << 20;
let inputs = [
("ascii", "lorem ipsum dolor sit amet ".repeat(LEN / 27)),
("german", "Größe über Straße, schön für Käufer ".repeat(LEN / 42)),
("russian", "Привет мир, это проверка строки ".repeat(LEN / 58)),
];
println!("{:<10} {:>14} {:>22} {:>8}", "1 MiB", "from_utf8 (us)", "from_utf8_lossy (us)", "ratio");
for (name, text) in &inputs {
let bytes = text.as_bytes();
let strict = micros(|| std::str::from_utf8(black_box(bytes)).unwrap().len());
let lossy = micros(|| String::from_utf8_lossy(black_box(bytes)).len());
println!("{name:<10} {strict:>14.1} {lossy:>22.1} {:>7.1}x", lossy / strict);
}
}
- Lingua principale
- Rust
- Stelle
- 122k
- Fork
- 16.7k
- Merge medio
- 2g 16h
- PR unite (30g)
- 515
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di rust-lang/rust
-
Remove unnecessary parentheses when suggesting to remove '&' from a patternForse già presa @BartSimpson001 l’ha presa 1 giorno fa. ApertaA-diagnostics D-invalid-suggestion T-compiler
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Windows `File::set_permissions` silently does nothing when clearing `readonly` leaves `FileAttributes == 0`Forse già presa @ChrisDenton l’ha presa 11 giorni fa. ApertaA-filesystem C-bug O-windows T-libs
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
A-run-make relnotes relnotes-needs-review relnotes-tracking-issue T-lang T-libs
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
A-LLVM O-Arm O-UEFI O-x86_64 relnotes relnotes-needs-review relnotes-tracking-issue T-compiler
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
rust-lang/rust#165504 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
relnotes relnotes-tracking-issue T-libs
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di rust-lang/rust
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
bytecodealliance/wrpc#1785 ·
I maintainer di solito rispondono entro 1 giorno
-
2 advisory ignore entries no longer match anything (`quick-xml` already patched in `Cargo.lock`)Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
longbridge/nsh#2758 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
antithesishq/bombadil#473 ·
I maintainer di solito rispondono entro 2 giorni
-
bench/api.sh exec test fails with curl exit 52, and --ignore-failure still records the timingsApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
libracoder/kiri#669 ·
I maintainer di solito rispondono entro 1 giorno