ggml-org/llama.cpp

kubernetes example

Open

#6.546 geöffnet am 8. Apr. 2024

Auf GitHub ansehen
 (25 Kommentare) (10 Reaktionen) (1 zugewiesene Person)C++ (18.202 Forks)batch import
enhancementhelp wantedkubernetes

Repository-Metriken

Stars
 (110.169 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Motivation

Kubernetes is widely used in the industry to deploy product and application at scale.

It can be useful for the community to have a llama.cpp helm chart for the server.

I have started several weeks ago, I will continue when I have more time, meanwhile any help is welcomed:

https://github.com/phymbert/llama.cpp/tree/example/kubernetes/examples/kubernetes

References

  • #6545

Contributor Guide

Research-Richtung
Überprüfe die teilweise Implementierung des Helm Charts im verlinkten Fork und identifiziere fehlende Komponenten (z. B. values, templates, dependencies). Teste das Chart in einem lokalen oder Cloud Kubernetes Cluster. Konsultiere die referenzierte Issue #6545 für weiteren Kontext.
Tech Stack
dockerkubernetes
Domain
devopsinfrastructurecloud
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
DockerKubernetesHelm
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30