dotnet/runtime

System.IO.Compression: ZipArchive loads entire file in memory on .Dispose

Open

#1 543 ouverte le 13 sept. 2016

Voir sur GitHub
 (6 commentaires) (10 réactions) (0 assignés)C# (5 445 forks)batch import
area-System.IO.Compressionenhancementhelp wantedtenet-performance

Métriques du dépôt

Stars
 (17 886 stars)
Métriques de merge PR
 (Merge moyen 12j 11h) (661 PRs mergées en 30 j)

Description

When you open a ZipArchive in Update mode, the entire zip file will be loaded in memory when the .Dispose method is invoked.

This is because .Dipose calls .WriteFile, which:

  • Calls LoadLocalHeaderExtraFieldAndCompressedBytesIfNeeded for all entries, which loads the compressed data into memory for those entries
  • Sets the size of the .zip archive to 0, by calling _archiveStream.SetLength(0);
  • Writes out all entries one by one.

As a result:

  • A lot of memory is used, the compressed data for each entry is loaded into memory
  • A lot of unnecessary disk I/O is performed, because all entries are written out again, even if they were not modified.

An alternative may be to incrementally update the zip archive, and only update entries which changes.

Guide contributeur

Direction de recherche
Examinez la méthode WriteFile dans ZipArchive pour comprendre pourquoi elle charge toutes les entrées en mémoire. Étudiez si le flux peut être mis à jour de manière incrémentielle sans lire toutes les données compressées, en vous concentrant sur les appels SetLength et LoadLocalHeaderExtraFieldAndCompressedBytesIfNeeded. Recherchez des problèmes ou propositions existants concernant les mises à jour incrémentielles.
Stack technique
csharp
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C#.NETSystem.IO.Compression
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40