`String::from_utf8_lossy` is 6–19x slower than str::from_utf8 on valid ASCII
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start with Utf8Chunks::next in library/core/src/str/lossy.rs, which checks bytes one at a time, and compare it with the word-at-a-time ASCII skip in library/core/src/str/validations.rs. Run the repro in the issue to confirm the ratio on 1 MiB of ASCII versus German and Russian text. Done means the ASCII case gets close to str::from_utf8 speed while the German and Russian timings and the existing lossy tests stay unchanged.
由索引模型根据 Issue 内容生成。
描述
On 1 MiB of valid ASCII, String::from_utf8_lossy takes about 260 µs while str::from_utf8 takes about 17 µs, although both validate the whole input and return it borrowed. from_utf8 skips ASCII a word at a time (library/core/src/str/validations.rs), whereas Utf8Chunks::next in library/core/src/str/lossy.rs checks byte by byte. On German or Russian text the two are equally fast, so only the ASCII fast path is missing, and everything built on utf8_chunks() pays the same cost.
Repro:
use std::hint::black_box;
use std::time::Instant;
fn micros<R>(mut f: impl FnMut() -> R) -> f64 {
let mut best = f64::MAX;
for _ in 0..5 {
let t = Instant::now();
for _ in 0..50 {
black_box(f());
}
best = best.min(t.elapsed().as_secs_f64() / 50.0);
}
best * 1e6
}
fn main() {
const LEN: usize = 1 << 20;
let inputs = [
("ascii", "lorem ipsum dolor sit amet ".repeat(LEN / 27)),
("german", "Größe über Straße, schön für Käufer ".repeat(LEN / 42)),
("russian", "Привет мир, это проверка строки ".repeat(LEN / 58)),
];
println!("{:<10} {:>14} {:>22} {:>8}", "1 MiB", "from_utf8 (us)", "from_utf8_lossy (us)", "ratio");
for (name, text) in &inputs {
let bytes = text.as_bytes();
let strict = micros(|| std::str::from_utf8(black_box(bytes)).unwrap().len());
let lossy = micros(|| String::from_utf8_lossy(black_box(bytes)).len());
println!("{name:<10} {strict:>14.1} {lossy:>22.1} {:>7.1}x", lossy / strict);
}
}
- 主要语言
- Rust
- 星标
- 122k
- 派生
- 16.7k
- 平均合并
- 2 天 16 小时
- 30 天内合并 PR
- 515
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
rust-lang/rust 的其他 Issue
-
Remove unnecessary parentheses when suggesting to remove '&' from a pattern可能已有人在做 @BartSimpson001 于 1 天前认领。 未关闭A-diagnostics D-invalid-suggestion T-compiler
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
Windows `File::set_permissions` silently does nothing when clearing `readonly` leaves `FileAttributes == 0`可能已有人在做 @ChrisDenton 于 11 天前认领。 未关闭A-filesystem C-bug O-windows T-libs
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
A-run-make relnotes relnotes-needs-review relnotes-tracking-issue T-lang T-libs
难度 1/5 1 小时以内 新手友好度 72/100
维护者通常 1 天内回复
-
A-LLVM O-Arm O-UEFI O-x86_64 relnotes relnotes-needs-review relnotes-tracking-issue T-compiler
难度 1/5 1 小时以内 新手友好度 72/100
rust-lang/rust#165504 · 1 条评论 ·
维护者通常 1 天内回复
-
relnotes relnotes-tracking-issue T-libs
难度 1/5 1 小时以内 新手友好度 72/100
维护者通常 1 天内回复
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 88/100
bytecodealliance/wrpc#1785 ·
维护者通常 1 天内回复
-
2 advisory ignore entries no longer match anything (`quick-xml` already patched in `Cargo.lock`)未关闭
难度 1/5 1 小时以内 新手友好度 85/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
longbridge/nsh#2758 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
antithesishq/bombadil#473 ·
维护者通常 2 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 72/100
libracoder/kiri#669 ·
维护者通常 1 天内回复