ggml-org/llama.cpp

common: download from URL, improve parallel download progress status

已关闭

#6,537 创建于 2024年4月8日

在 GitHub 查看贡献者指南
 (7 条评论) (0 个反应) (1 位负责人)C++ (21,764 个派生)batch import
enhancementgood first issuehelp wantedsplit

仓库指标

星标
 (124,134 个星标)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

Context

When downloading a sharded model, files are downloaded in parallel, it was added in:

  • #6192

The progressions of each download conflict: image

Need to properly implement CURLOPT_NOPROGRESS for parallel download.

Example in #6515:

main --hf-repo ggml-org/models \
  --hf-file grok-1/grok-1-q4_0-00001-of-00009.gguf \
  --model   models/grok-1-q4_0-00001-of-00009.gguf \
  -ngl 64
   --prompt "I believe the meaning of life is"

贡献者指南

研究方向
检查 PR #6192 中添加的现有并行下载实现，特别是如何管理多个 CURL 句柄以及如何报告进度。然后研究 CURLOPT NOPROGRESS 文档，了解如何禁用默认进度指示器，并实现一个自定义进度回调，该回调聚合所有句柄的进度且不产生冲突输出。相关源代码可能在 `common/download.cpp` 或类似文件中。查看注释和链接的 PR #6515 以获取示例用法。实现解决方案并使用分片模型下载进行测试。
技术栈
cpp
领域
cli
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
Clibcurlparallel downloads
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
40