Parallel diff and cmp on binary files?

Offen

#121 erstellt am 31.5.2025 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: rust
Bereich: cli, performance

Rechercherichtung

Es werden keine Quelldateien, Tests oder spezifischen Einstiegspunkte genannt. Beginne damit, die Pfade für binäre Vergleiche für diff und cmp zu finden, und ermittle ihr aktuelles Verhalten im Vergleich zu den gemeldeten b3sum-Zeitmessungen. Lege vor der Implementierung fest, ob die Parallelisierung für Binärdateien, Verzeichnisvergleiche oder beides gelten soll, und welche Benchmarks und Tests belegen würden, dass die Änderung abgeschlossen ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

I just had a revelation:

$ time b3sum dreamshaper_8\ \(1\).safetensors dreamshaper_8.safetensors
771c807db56dbfc33feda5638d920f6c507db971da44772ee44a08dc38c3b437  dreamshaper_8 (1).safetensors
771c807db56dbfc33feda5638d920f6c507db971da44772ee44a08dc38c3b437  dreamshaper_8.safetensors

real    0m0.172s
user    0m2.193s
sys     0m0.423s


$ time cmp dreamshaper_8\ \(1\).safetensors dreamshaper_8.safetensors

real    0m0.596s
user    0m0.183s
sys     0m0.411s

$ time diff dreamshaper_8\ \(1\).safetensors dreamshaper_8.safetensors

real    0m0.509s
user    0m0.079s
sys     0m0.428s

As you can see, even though the b3sum method has an additional cost (calculating a hash) it is way faster overall since it's leveraging parallelism.

Wouldn't it be a good improvement to bring parallelism to some of the tools like diff and cmp?
Maybe with a new (not-standardized) option?
Maybe by default because why not?

I guess diff has a special code path once it is sure that it's just a binary file, right? So in that code path it wouldn't be much of a problem to parallelize it.

This whole topic can even be pushed further when comparing directories... parallel diffing of files.

Come on it's 2025! :)

Vorherrschende Sprache: Rust
Sterne: 276
Forks: 39
Ø Merge: 4 T. 12 Std.
Gemergte PRs (30 T.): 3

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus uutils/diffutils

diff: `-y --tabsize=<huge>` overflows the column arithmetic (overflow-checks only) Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

uutils/diffutils#264 · Erstellt am 17.7.2026
diff panics (`into_string().unwrap()`) on a non-UTF-8 argument ending in `--width=N` Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

uutils/diffutils#247 · Erstellt am 16.6.2026
diff panics on an oversized inline context count (`-c`/`-u`/`-C`/`-U`): parse overflow and capacity overflow Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

uutils/diffutils#245 · 1 Kommentar · Erstellt am 10.6.2026
Git Tag str should not contain the prefix `v` Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

uutils/diffutils#239 · Erstellt am 06.6.2026
diff: two large files abort with a ~100 TB allocation Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

uutils/diffutils#287 · Erstellt am 24.9.2026

Alle Issues in uutils/diffutils