ggml-org/llama.cpp

common: download from URL, improve parallel download progress status

已關閉

#6,537 建立於 2024年4月8日

在 GitHub 查看貢獻者指南
 (7 則留言) (0 個反應) (1 位負責人)C++ (21,786 個分叉)batch import
enhancementgood first issuehelp wantedsplit

倉庫指標

星標
 (124,222 顆星)
PR 合併指標
 (平均合併 6天 8小時) (30 天內合併 389 個 PR)

描述

Context

When downloading a sharded model, files are downloaded in parallel, it was added in:

  • #6192

The progressions of each download conflict: image

Need to properly implement CURLOPT_NOPROGRESS for parallel download.

Example in #6515:

main --hf-repo ggml-org/models \
  --hf-file grok-1/grok-1-q4_0-00001-of-00009.gguf \
  --model   models/grok-1-q4_0-00001-of-00009.gguf \
  -ngl 64
   --prompt "I believe the meaning of life is"

貢獻者指南

研究方向
檢查 PR #6192 中添加的現有並行下載實現，特別是管理多個 CURL 句柄的方式以及進度報告機制。接著研究 CURLOPT NOPROGRESS 文件，了解如何停用預設進度指示器，並實作一個自訂進度回呼函式，該函式能彙總所有句柄的進度且不產生衝突輸出。相關原始碼可能在 `common/download.cpp` 或類似檔案中。查看註解和連結的 PR #6515 以取得使用範例。實作解決方案並使用分片模型下載進行測試。
技術棧
cpp
領域
cli
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-2 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
Clibcurlparallel downloads
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
40