ipfs/kubo

enhancement: tarsnap chunker / importer (Content defined, polynomial, fast converging chunking)

Open

#3603 aperta il 17 gen 2017

Vedi su GitHub
 (1 commento) (2 reazioni) (0 assegnatari)Go (2725 fork)batch import
help wantedkind/enhancement

Metriche repository

Star
 (13.906 star)
Metriche merge PR
 (Merge medio 4g 2h) (28 PR mergiate in 30 g)

Descrizione

Version information:

go-ipfs version: 0.4.4

Type: Feature, Enhancement

Priority: P4

Area: Tools, Importer

Description:

Better suited for maximizing deduplication ratio then current Rabin chunker.
Using smaller chunks with faster convergence yields greater space savings, and the benefit depending on dataset can be great in comparison to Rabin.

The mean chunk size used by tarsnap is 64k.

Source: https://github.com/Tarsnap/tarsnap/blob/master/tar/multitape/chunkify.h https://github.com/Tarsnap/tarsnap/blob/master/tar/multitape/chunkify.c

Related: https://moinakg.wordpress.com/2012/11/11/inside-content-defined-chunking-in-pcompress/ https://moinakg.wordpress.com/2012/11/15/inside-content-defined-chunking-in-pcompress-part-2/

Guida contributor

Direzione di ricerca
Studia l'implementazione esistente del chunker Rabin nel codice, poi progetta e implementa un nuovo chunker a contenuto definito basato sui riferimenti tarsnap forniti. Concentrati sull'hashing polinomiale e sulle tecniche di convergenza rapida.
Tech stack
go
Dominio
backendperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20