TUI wordlist load and resume digests read whole files into memory

Ouverte Adaptée aux débutants
#411 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
82/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
go
Domaine
cli, performance

Piste de recherche

Lisez internal/tui/model.go:212-221 et internal/cli/resume.go:368-378, puis comparez les chemins de streaming existants dans internal/cli/wordlist.go:109 et la branche de la liste intégrée. Mettez à jour le chargement des fichiers de la TUI et fileDigest afin de traiter l’entrée en streaming tout en préservant la sortie du digest. Exécutez go test ./internal/tui/ ./internal/cli/ ; le travail est terminé lorsque les deux critères d’acceptation sont satisfaits et que les fichiers d’état de reprise existants fonctionnent toujours.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

good first issue performance severity: low

Summary

Two paths still read a whole input file into memory, which the streaming wordlist reader (#248) otherwise avoids: the TUI's wordlist load, and the digests a resume state records.

Where

  • internal/tui/model.go:212-216 (wordlist.LoadWordlist, which is ReadLines + Build)
  • internal/wordlist/reader.go:391-398
  • internal/cli/resume.go:368-378 (fileDigest: os.ReadFile + sha256.Sum256)

Details

  • TUI. For a wordlist file the TUI calls LoadWordlist, which appends every raw line to a []string before normalising. The CLI streams the same file with wordlist.EachLineOf(p, pr.Add) (internal/cli/wordlist.go:109). So does the TUI's own bundled-list branch three lines below (model.go:217-221).
  • Resume digests. fileDigest reads every -w, -dL, -exclude-file, -r, -seeds and -diff file whole, when a stopped run saves its state and again when -resume checks its inputs.

Impact

  • A 5M-line list costs the TUI about 80-160 MB of extra peak memory.
  • A 50-150 MB wordlist is loaded whole at Ctrl+C time and again at resume.

Suggested fix

  • TUI: pr := wordlist.NewPreparer(); wordlist.EachLineOf(vals.wordlist, pr.Add); pr.Prepared().For(vals.Domain), as the bundled branch already does.
  • fileDigest: f, _ := os.Open(path); h := sha256.New(); io.Copy(h, f).

Acceptance criteria

  • The TUI loads wordlist files through EachLineOf
  • fileDigest streams, and its digests are unchanged, so existing state files still resume

Getting started

  • Relevant files: internal/tui/model.go, internal/cli/resume.go
  • How to run tests: go test ./internal/tui/ ./internal/cli/
  • Related: #248

Filed by repo-audit/full-audit at dd5b156. Severity: low. Effort: S. audit-key: performance|internal/tui/model.go|loadWordlist

Langage dominant
Go
Étoiles
1
Forks
1
Merge moyen
7 h 18 min
PR mergées (30 j)
23

Préparer son environnement

Ouvrir dans Codespaces

Lance le conteneur de développement du projet dans votre navigateur, avec votre propre compte GitHub.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de TMHSDigital/subenum

Toutes les issues de TMHSDigital/subenum

Issues similaires

Plus d'issues Go

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.