ggml-org/llama.cpp

llama : add CLI assistant

Chiusa

#10.688 aperta il 6 dic 2024

Vedi su GitHubGuida contributor
 (5 commenti) (4 reazioni) (0 assegnatari)C++ (21.781 fork)batch import
enhancementgood first issueroadmap

Metriche repository

Star
 (124.194 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

The https://github.com/AnswerDotAI/shell_sage project seems quite fun and useful. GitHub Copilot CLI was also a rather useful utility.

We should build a fully-local alternative leveraging llama-server's advanced context reuse techniques in the same spirit as llama.vim. Speculative decoding should be very effective in this scenario as well. Likely the Qwen 2.5 family would be ideal for this use case.

Guida contributor

Direzione di ricerca
La proposta dell'issue è di costruire un assistente CLI simile a shell sage e GitHub Copilot CLI, sfruttando il riutilizzo del contesto e il decoding speculativo di llama server. Per iniziare, esamina l'implementazione esistente di llama.vim e il progetto shell sage per i pattern di design. Indaga l'API di llama server per il riutilizzo del contesto e come integrare il decoding speculativo. La famiglia Qwen 2.5 è suggerita come scelta del modello. L'interfaccia CLI esatta e la struttura dei comandi devono essere definite, possibilmente attraverso una discussione della comunità.
Tech stack
cppshell
Dominio
clibackenddeveloper experience
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++GitCommand line basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45