FilOzone/dealbot

Avoid duplicating the full piece buffer when parsing sampled-retrieval CARs

Open

#616 geöffnet am 19. Juni 2026

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)TypeScript (9 Forks)github user discovery
enhancementgood first issuehelp wantedready-for-work

Repository-Metriken

Stars
 (2 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

readBlocks in the sampled-retrieval piece validation wraps the incoming piece buffer in new Uint8Array(pieceBytes) before handing it to CarReader.fromBytes:

https://github.com/FilOzone/dealbot/blob/2452e7deeb177ff6e94383386458f2a914ebf679/apps/backend/src/retrieval-anon/piece-validation.service.ts#L192-L200

pieceBytes is a Buffer, which already is a Uint8Array, so that wrapper allocates a second full copy of the entire piece. Sampled pieces run up to ~500 MiB, so peak memory for one check is roughly 2x the piece size for no reason.

Fix: pass pieceBytes straight to CarReader.fromBytes(pieceBytes). Same behavior, drops the redundant allocation.

This is pre-existing from #487 and untouched by the rename in #612, so tracking it on its own. The file moves to apps/backend/src/sampled-retrieval/piece-validation.service.ts once #612 lands.

Contributor Guide

Research-Richtung
Entfernen Sie den redundanten Wrapper `new Uint8Array(pieceBytes)` und übergeben Sie `pieceBytes` direkt an `CarReader.fromBytes`. Überprüfen Sie, ob die Korrektur den Speicherverbrauch reduziert und die vorhandenen Tests besteht.
Tech Stack
typescript
Domain
backend
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
1
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Unter 1 Stunde
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Node.jsBuffers
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75