FilOzone/dealbot

Avoid duplicating the full piece buffer when parsing sampled-retrieval CARs

Open

#616 ouverte le 19 juin 2026

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)TypeScript (9 forks)github user discovery
enhancementgood first issuehelp wantedready-for-work

Métriques du dépôt

Stars
 (2 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

readBlocks in the sampled-retrieval piece validation wraps the incoming piece buffer in new Uint8Array(pieceBytes) before handing it to CarReader.fromBytes:

https://github.com/FilOzone/dealbot/blob/2452e7deeb177ff6e94383386458f2a914ebf679/apps/backend/src/retrieval-anon/piece-validation.service.ts#L192-L200

pieceBytes is a Buffer, which already is a Uint8Array, so that wrapper allocates a second full copy of the entire piece. Sampled pieces run up to ~500 MiB, so peak memory for one check is roughly 2x the piece size for no reason.

Fix: pass pieceBytes straight to CarReader.fromBytes(pieceBytes). Same behavior, drops the redundant allocation.

This is pre-existing from #487 and untouched by the rename in #612, so tracking it on its own. The file moves to apps/backend/src/sampled-retrieval/piece-validation.service.ts once #612 lands.

Guide contributeur

Direction de recherche
Supprimez le wrapper redondant `new Uint8Array(pieceBytes)` et passez `pieceBytes` directement à `CarReader.fromBytes`. Vérifiez que la correction réduit l'utilisation de la mémoire et réussit les tests existants.
Stack technique
typescript
Domaine
backend
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
1
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Moins d'une heure
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Node.jsBuffers
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75