TUI wordlist load and resume digests read whole files into memory
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 82/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- go
- Bereich
- cli, performance
Rechercherichtung
Lies internal/tui/model.go:212-221 und internal/cli/resume.go:368-378 und vergleiche anschließend die bestehenden Streaming-Pfade in internal/cli/wordlist.go:109 und den Zweig für die gebündelte Liste. Aktualisiere das Laden von Dateien in der TUI und fileDigest, damit die Eingabe gestreamt wird und die Digest-Ausgabe erhalten bleibt. Führe go test ./internal/tui/ ./internal/cli/ aus; fertig ist die Arbeit, wenn beide Abnahmekriterien erfüllt sind und vorhandene Resume-Statusdateien weiterhin funktionieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Summary
Two paths still read a whole input file into memory, which the streaming wordlist reader (#248) otherwise avoids: the TUI's wordlist load, and the digests a resume state records.
Where
internal/tui/model.go:212-216(wordlist.LoadWordlist, which isReadLines+Build)internal/wordlist/reader.go:391-398internal/cli/resume.go:368-378(fileDigest:os.ReadFile+sha256.Sum256)
Details
- TUI. For a wordlist file the TUI calls
LoadWordlist, which appends every raw line to a[]stringbefore normalising. The CLI streams the same file withwordlist.EachLineOf(p, pr.Add)(internal/cli/wordlist.go:109). So does the TUI's own bundled-list branch three lines below (model.go:217-221). - Resume digests.
fileDigestreads every-w,-dL,-exclude-file,-r,-seedsand-difffile whole, when a stopped run saves its state and again when-resumechecks its inputs.
Impact
- A 5M-line list costs the TUI about 80-160 MB of extra peak memory.
- A 50-150 MB wordlist is loaded whole at Ctrl+C time and again at resume.
Suggested fix
- TUI:
pr := wordlist.NewPreparer(); wordlist.EachLineOf(vals.wordlist, pr.Add); pr.Prepared().For(vals.Domain), as the bundled branch already does. fileDigest:f, _ := os.Open(path); h := sha256.New(); io.Copy(h, f).
Acceptance criteria
- The TUI loads wordlist files through
EachLineOf -
fileDigeststreams, and its digests are unchanged, so existing state files still resume
Getting started
- Relevant files:
internal/tui/model.go,internal/cli/resume.go - How to run tests:
go test ./internal/tui/ ./internal/cli/ - Related: #248
Filed by repo-audit/full-audit at dd5b156. Severity: low. Effort: S. audit-key: performance|internal/tui/model.go|loadWordlist
- Vorherrschende Sprache
- Go
- Sterne
- 1
- Forks
- 1
- Ø Merge
- 7 Std. 18 Min.
- Gemergte PRs (30 T.)
- 23
Entwicklungsumgebung
Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus TMHSDigital/subenum
-
severity: low tech-debt
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
TMHSDigital/subenum#414 ·
Maintainer antworten meist innerhalb von 1 Tag
-
area: tui good first issue severity: low testing
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
TMHSDigital/subenum#413 ·
Maintainer antworten meist innerhalb von 1 Tag
-
good first issue severity: low testing
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
TMHSDigital/subenum#412 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug github-actions good first issue severity: low
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
TMHSDigital/subenum#407 ·
Maintainer antworten meist innerhalb von 1 Tag
-
area: cli severity: medium tech-debt
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
TMHSDigital/subenum#402 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in TMHSDigital/subenum
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
trufflesecurity/trufflehog#5573 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Type/Improvement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
OpenNSW/nsw-srilanka#1259 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
katzenpost/katzenpost#1287 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
Tencent/LoopForge#986 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag