ggml-org/llama.cpp

split: allow --split-max-size option

开放

#6,259 创建于 2024年3月23日

在 GitHub 查看贡献者指南
 (4 条评论) (1 个反应) (0 位负责人)C++ (21,764 个派生)batch import
enhancementgood first issuehelp wantedsplit

仓库指标

星标
 (124,134 个星标)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

Motivation

we support --split-max-tensors since:

  • #6135

As mentionned by @Artefact2 in this comment:

allowing to split by file size would be more intuitive (and usually more appropriate since file size is usually the limiting factor, eg 4G for FAT or 50G for HF)

Proposition:

Introduce --split-max-size N(M|G) split strategy to split files in file with a max size of N Megabytes or Gigabytes. As it is not possible to have less than 1 tensor per GGUF, this size is a soft limit.

贡献者指南

研究方向
该问题要求在 split 命令中添加一个 split max size 选项。现有的拆分功能很可能位于 llama.cpp 代码库中，可能在类似 `llama.cpp` 或 `gguf.cpp` 的文件中。实现应解析大小参数（例如 100M、2G），并将输出文件拆分到不超过该大小。然而，由于 GGUF 文件每个文件至少需要包含 1 个张量，因此该大小是一个软限制。贡献者应参考现有的 split max tensors 实现作为指导。该问题链接到 PR #6135 和 Artefact2 的评论以提供上下文。没有链接的 PR 或分配者，因此该问题可供接手。
技术栈
cpp
领域
cli
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
C++Git
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
65