Support passing grammars to server on the command line.

未关闭 适合新手
#636 0 条评论 4 个 reaction 已指派 0 人 在 GitHub 查看

还没有人认领这个 Issue。

评估

难度
2/5
预计耗时
1-3 小时
新手友好度
65/100
Issue 类型
功能
描述清晰度
描述清楚
活跃度
停滞
技术栈
python
领域
backend, cli

调研方向

查看服务器入口点，可能位于 llama_cpp/server.py 或类似模块中。检查命令行参数的解析方式（例如使用 argparse），以及这些参数如何传递到底层的 llama.cpp 服务器逻辑。与现有的 llama.cpp 命令行界面进行比较，以了解应如何集成 --grammar 参数。通过使用新参数运行服务器进行测试，确保它能够接受该参数并正确传递 grammar。

由索引模型根据 Issue 内容生成。

描述

enhancement

Is your feature request related to a problem? Please describe.

The python3 -m llama_cpp.server command doesn't have a parameter to pass along a grammar the same way llama.cpp does.

Describe the solution you'd like

A --grammar command line parameter for the server.

Thanks!!

主要语言
Python
星标
10.6k
派生
1.5k
平均合并
23 分钟
30 天内合并 PR
1

贡献指南

打开贡献指南

从这里开始

  1. 先读完整个 Issue，再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库，在一个分支上完成修改。
  4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

abetlen/llama-cpp-python 的其他 Issue

查看 abetlen/llama-cpp-python 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。