Use rolling hash splitter (data sensitive, e.g. Buzhash or Rabin) by default instead of SizeSplitter (data insensitive)

未关闭
#355 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
5/5
预计耗时
一周以上
新手友好度
25/100
Issue 类型
功能
描述清晰度
基本清楚
活跃度
停滞
技术栈
go
领域
data

调研方向

首先追踪 SizeSplitter 在 boxo 中被选为默认值的位置,然后阅读链接的 go-ipfs-chunker issue 以及 Buzhash、Rabin、casync 和 desync 的参考资料。确定适用的 rolling-hash 方法和兼容性影响。完成的标准是默认使用具有抗移位能力的 rolling-hash splitter,而不是 SizeSplitter。

由索引模型根据 Issue 内容生成。

描述

need/triage

Use the Buzhash or Rabin splitter in IPFS instead of the SizeSplitter by default.
A rolling hash based data sensitive splitter has a huge obvious advantage: it creates shift-resistant chunks and thus improves data deduplication and sharing.

For example casync is doing it too:

Original ticket: https://github.com/ipfs/go-ipfs-chunker/issues/13

主要语言
Go
星标
326
派生
165
PR 合并指标
30 天内没有已合并 PR

环境准备

  • 没有 Dockerfile 或 Docker Compose 文件
  • 有 Pull Request 模板
  • 没有贡献指南

从这里开始

  1. 先读完整个 Issue,再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库,在一个分支上完成修改。
  4. 提交 Pull Request,并在描述里引用这个 Issue 编号。

ipfs/boxo 的其他 Issue

查看 ipfs/boxo 的全部 Issue

相似的 Issue

更多 Go Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。