TUI wordlist load and resume digests read whole files into memory

Offen Anfängerfreundlich
#411 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
82/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
go
Bereich
cli, performance

Rechercherichtung

Lies internal/tui/model.go:212-221 und internal/cli/resume.go:368-378 und vergleiche anschließend die bestehenden Streaming-Pfade in internal/cli/wordlist.go:109 und den Zweig für die gebündelte Liste. Aktualisiere das Laden von Dateien in der TUI und fileDigest, damit die Eingabe gestreamt wird und die Digest-Ausgabe erhalten bleibt. Führe go test ./internal/tui/ ./internal/cli/ aus; fertig ist die Arbeit, wenn beide Abnahmekriterien erfüllt sind und vorhandene Resume-Statusdateien weiterhin funktionieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

good first issue performance severity: low

Summary

Two paths still read a whole input file into memory, which the streaming wordlist reader (#248) otherwise avoids: the TUI's wordlist load, and the digests a resume state records.

Where

  • internal/tui/model.go:212-216 (wordlist.LoadWordlist, which is ReadLines + Build)
  • internal/wordlist/reader.go:391-398
  • internal/cli/resume.go:368-378 (fileDigest: os.ReadFile + sha256.Sum256)

Details

  • TUI. For a wordlist file the TUI calls LoadWordlist, which appends every raw line to a []string before normalising. The CLI streams the same file with wordlist.EachLineOf(p, pr.Add) (internal/cli/wordlist.go:109). So does the TUI's own bundled-list branch three lines below (model.go:217-221).
  • Resume digests. fileDigest reads every -w, -dL, -exclude-file, -r, -seeds and -diff file whole, when a stopped run saves its state and again when -resume checks its inputs.

Impact

  • A 5M-line list costs the TUI about 80-160 MB of extra peak memory.
  • A 50-150 MB wordlist is loaded whole at Ctrl+C time and again at resume.

Suggested fix

  • TUI: pr := wordlist.NewPreparer(); wordlist.EachLineOf(vals.wordlist, pr.Add); pr.Prepared().For(vals.Domain), as the bundled branch already does.
  • fileDigest: f, _ := os.Open(path); h := sha256.New(); io.Copy(h, f).

Acceptance criteria

  • The TUI loads wordlist files through EachLineOf
  • fileDigest streams, and its digests are unchanged, so existing state files still resume

Getting started

  • Relevant files: internal/tui/model.go, internal/cli/resume.go
  • How to run tests: go test ./internal/tui/ ./internal/cli/
  • Related: #248

Filed by repo-audit/full-audit at dd5b156. Severity: low. Effort: S. audit-key: performance|internal/tui/model.go|loadWordlist

Vorherrschende Sprache
Go
Sterne
1
Forks
1
Ø Merge
7 Std. 18 Min.
Gemergte PRs (30 T.)
23

Entwicklungsumgebung

In Codespaces öffnen

Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus TMHSDigital/subenum

Alle Issues in TMHSDigital/subenum

Ähnliche Issues

Weitere Issues zu Go

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.