ggml-org/llama.cpp

split: allow --split-max-size option

開放

#6,259 建立於 2024年3月23日

在 GitHub 查看貢獻者指南
 (4 則留言) (1 個反應) (0 位負責人)C++ (21,812 個分叉)batch import
enhancementgood first issuehelp wantedsplit

倉庫指標

星標
 (124,339 顆星)
PR 合併指標
 (平均合併 6天 8小時) (30 天內合併 389 個 PR)

描述

Motivation

we support --split-max-tensors since:

  • #6135

As mentionned by @Artefact2 in this comment:

allowing to split by file size would be more intuitive (and usually more appropriate since file size is usually the limiting factor, eg 4G for FAT or 50G for HF)

Proposition:

Introduce --split-max-size N(M|G) split strategy to split files in file with a max size of N Megabytes or Gigabytes. As it is not possible to have less than 1 tensor per GGUF, this size is a soft limit.

貢獻者指南

研究方向
該問題要求在 split 指令中新增一個 split max size 選項。現有的拆分功能很可能位於 llama.cpp 程式碼庫中，可能在類似 `llama.cpp` 或 `gguf.cpp` 的檔案中。實作應解析大小參數（例如 100M、2G），並將輸出檔案拆分到不超過該大小。然而，由於 GGUF 檔案每個檔案至少需要包含 1 個張量，因此該大小是一個軟限制。貢獻者應參考現有的 split max tensors 實作作為指引。該問題連結到 PR #6135 和 Artefact2 的評論以提供上下文。沒有連結的 PR 或指派者，因此該問題可供接手。
技術棧
cpp
領域
cli
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
半天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
C++Git
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
65