dotnet/runtime

System.IO.Compression: ZipArchive loads entire file in memory on .Dispose

Open

#1.543 geöffnet am 13. Sept. 2016

Auf GitHub ansehen
 (6 Kommentare) (10 Reaktionen) (0 zugewiesene Personen)C# (5.445 Forks)batch import
area-System.IO.Compressionenhancementhelp wantedtenet-performance

Repository-Metriken

Stars
 (17.886 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 12T 11h) (661 gemergte PRs in 30 T)

Beschreibung

When you open a ZipArchive in Update mode, the entire zip file will be loaded in memory when the .Dispose method is invoked.

This is because .Dipose calls .WriteFile, which:

  • Calls LoadLocalHeaderExtraFieldAndCompressedBytesIfNeeded for all entries, which loads the compressed data into memory for those entries
  • Sets the size of the .zip archive to 0, by calling _archiveStream.SetLength(0);
  • Writes out all entries one by one.

As a result:

  • A lot of memory is used, the compressed data for each entry is loaded into memory
  • A lot of unnecessary disk I/O is performed, because all entries are written out again, even if they were not modified.

An alternative may be to incrementally update the zip archive, and only update entries which changes.

Contributor Guide

Research-Richtung
Untersuchen Sie die WriteFile Methode in ZipArchive, um zu verstehen, warum sie alle Einträge in den Speicher lädt. Erkunden Sie, ob der Stream inkrementell aktualisiert werden kann, ohne alle komprimierten Daten zu lesen, wobei Sie sich auf die Aufrufe von SetLength und LoadLocalHeaderExtraFieldAndCompressedBytesIfNeeded konzentrieren. Suchen Sie nach vorhandenen Issues oder Vorschlägen zu inkrementellen Aktualisierungen.
Tech Stack
csharp
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
C#.NETSystem.IO.Compression
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40