ggml-org/llama.cpp

llama : add CLI assistant

已关闭

#10,688 创建于 2024年12月6日

在 GitHub 查看贡献者指南
 (5 条评论) (4 个反应) (0 位负责人)C++ (21,764 个派生)batch import
enhancementgood first issueroadmap

仓库指标

星标
 (124,134 个星标)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

The https://github.com/AnswerDotAI/shell_sage project seems quite fun and useful. GitHub Copilot CLI was also a rather useful utility.

We should build a fully-local alternative leveraging llama-server's advanced context reuse techniques in the same spirit as llama.vim. Speculative decoding should be very effective in this scenario as well. Likely the Qwen 2.5 family would be ideal for this use case.

贡献者指南

研究方向
该议题提议构建一个类似于 shell sage 和 GitHub Copilot CLI 的 CLI 助手，利用 llama server 的上下文重用和推测解码功能。首先，检查现有的 llama.vim 实现和 shell sage 项目以获取设计模式。研究 llama server 的 API 以了解上下文重用以及如何集成推测解码。建议使用 Qwen 2.5 系列作为模型选择。确切的 CLI 界面和命令结构需要定义，可能通过社区讨论进行。
技术栈
cppshell
领域
clibackenddeveloper experience
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
基本清晰
前置要求
C++GitCommand line basics
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
45