GPU builds of the llama-rpc image (CUDA, Vulkan)
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 30/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- docker, github-actions
- 领域
- devops, infrastructure
调研方向
Start with the image build in .github/workflows/llama-rpc.yml, then find where llama-distributed reads the GPU inventory and chooses a worker's variant. Done means CUDA and Vulkan tags are built, the right tag is picked per machine, and GPU workers are marked with "gpu": true. The issue does not say how a worker reports its GPU, so check that first.
由索引模型根据 Issue 内容生成。
描述
ghcr.io/a-hackers-guide/llama-rpc is CPU-only today. Add CUDA and Vulkan variants (tags like b12019-cuda, b12019-vulkan) built in .github/workflows/llama-rpc.yml, and let llama-distributed pick the variant per machine from its GPU inventory. Mark GPU workers with "gpu": true once the image can use them.
- 主要语言
- Go
- 星标
- 1
- 派生
- 0
- 平均合并
- 12 分钟
- 30 天内合并 PR
- 2
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
A-Hackers-Guide/sys1 的其他 Issue
-
难度 5/5 一周以上 新手友好度 15/100
A-Hackers-Guide/sys1#31 · 1 条评论 ·
-
known limitation reliability storage
难度 5/5 一周以上 新手友好度 18/100
A-Hackers-Guide/sys1#27 · 1 条评论 ·
-
known limitation security
难度 4/5 3-5 天 新手友好度 25/100
A-Hackers-Guide/sys1#26 ·
-
distribution security
难度 5/5 一周以上 新手友好度 25/100
A-Hackers-Guide/sys1#25 ·
-
integration roadmap
难度 4/5 3-5 天 新手友好度 22/100
A-Hackers-Guide/sys1#21 ·
查看 A-Hackers-Guide/sys1 的全部 Issue
相似的 Issue
-
ready-for-agent
难度 2/5 1-3 小时 新手友好度 78/100
hexlet-basics/hexlet-basics#962 ·
维护者通常 1 天内回复
-
imapproxy closeForMaintenance grace timer calls clientConn.Close() before closeMaintenanceTransport可能已有人在做 @dejanstrbac 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 83/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
-
renovate-health
难度 2/5 1-3 小时 新手友好度 62/100
Netcracker/qubership-network-latency-exporter#267 ·
维护者通常 1 天内回复
-
Network capture does not work可能已有人在做 @KSpaceer 今天认领。 未关闭kind/bug
难度 2/5 1-3 小时 新手友好度 82/100
aquasecurity/tracee#5395 ·