ggml-org/llama.cpp

kubernetes example

Open

#6,546 创建于 2024年4月8日

在 GitHub 查看
 (25 评论) (10 反应) (1 负责人)C++ (18,202 fork)batch import
enhancementhelp wantedkubernetes

仓库指标

Star
 (110,169 star)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

Motivation

Kubernetes is widely used in the industry to deploy product and application at scale.

It can be useful for the community to have a llama.cpp helm chart for the server.

I have started several weeks ago, I will continue when I have more time, meanwhile any help is welcomed:

https://github.com/phymbert/llama.cpp/tree/example/kubernetes/examples/kubernetes

References

  • #6545

贡献者指南

研究方向
审查链接分支中的部分Helm Chart实现，识别缺失的组件（如values、templates、dependencies）。在本地或云Kubernetes集群上测试该Chart。查阅引用的issue #6545以获取更多上下文。
技术栈
dockerkubernetes
领域
devopsinfrastructurecloud
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
3-5 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
基本清晰
前置要求
DockerKubernetesHelm
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
30