ggml-org/llama.cpp

kubernetes example

Open

#6546 aperta il 8 apr 2024

Vedi su GitHub
 (25 commenti) (10 reazioni) (1 assegnatario)C++ (18.202 fork)batch import
enhancementhelp wantedkubernetes

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Motivation

Kubernetes is widely used in the industry to deploy product and application at scale.

It can be useful for the community to have a llama.cpp helm chart for the server.

I have started several weeks ago, I will continue when I have more time, meanwhile any help is welcomed:

https://github.com/phymbert/llama.cpp/tree/example/kubernetes/examples/kubernetes

References

  • #6545

Guida contributor

Direzione di ricerca
Esamina l'implementazione parziale del chart Helm nel fork collegato e identifica i componenti mancanti (es. values, templates, dependencies). Testa il chart su un cluster Kubernetes locale o cloud. Consulta l'issue #6545 di riferimento per ulteriori contesti.
Tech stack
dockerkubernetes
Dominio
devopsinfrastructurecloud
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
DockerKubernetesHelm
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30