ggml-org/llama.cpp

llama : add CLI assistant

Geschlossen

#10.688 geöffnet am 06.12.2024

Auf GitHub ansehenContributor Guide
 (5 Kommentare) (4 Reaktionen) (0 zugewiesene Personen)C++ (21.822 Forks)batch import
enhancementgood first issueroadmap

Repository-Metriken

Stars
 (124.374 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

The https://github.com/AnswerDotAI/shell_sage project seems quite fun and useful. GitHub Copilot CLI was also a rather useful utility.

We should build a fully-local alternative leveraging llama-server's advanced context reuse techniques in the same spirit as llama.vim. Speculative decoding should be very effective in this scenario as well. Likely the Qwen 2.5 family would be ideal for this use case.

Contributor Guide

Research-Richtung
Das Issue schlägt vor, einen CLI Assistenten ähnlich wie shell sage und GitHub Copilot CLI zu bauen, der die Kontextwiederverwendung und spekulative Dekodierung von llama server nutzt. Untersuchen Sie zunächst die vorhandene llama.vim Implementierung und das shell sage Projekt, um Entwurfsmuster zu finden. Untersuchen Sie die API von llama server für Kontextwiederverwendung und wie spekulative Dekodierung integriert werden kann. Die Qwen 2.5 Familie wird als Modellwahl vorgeschlagen. Die genaue CLI Schnittstelle und Befehlsstruktur muss definiert werden, möglicherweise durch eine Community Diskussion.
Tech Stack
cppshell
Domain
clibackenddeveloper experience
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
C++GitCommand line basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45