Can RotorQuant/TurboQuant and dflash support be added?

未关闭
#2,184 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看

维护者通常 1 天内回复

还没有人认领这个 Issue。

评估

难度
4/5
预计耗时
3-5 天
新手友好度
35/100
Issue 类型
功能
描述清晰度
基本清楚
活跃度
冷清
技术栈
c, python

调研方向

该 issue 要求为 llama-cpp-python bindings 添加对 TurboQuant/RotorQuant 和 dFlash speculative decoding 的支持。首先检查 repository 中现有的 binding 代码,以了解当前如何集成 quantization 和 speculative decoding 功能。查看上游项目 llama.cpp,确认是否已有关于这些功能的实现或讨论。确定 C++ bindings 和 Python 接口需要进行哪些更改,并验证 build 流程以确保兼容性。

由索引模型根据 Issue 内容生成。

描述

Hi!
This project is very useful for using with llama.cpp in python. However, it would be great if we could have some features even before the main llama.cpp has full support for them. By that I mean TurboQuant/RotorQuant and dFlash speculative decoding. It would make this entire library AMAZING to use.

主要语言
Python
星标
10.7k
派生
1.5k
平均合并
1 小时 40 分钟
30 天内合并 PR
5

环境准备

  • 没有 Dockerfile 或 Docker Compose 文件
  • 没有 Pull Request 模板
  • 阅读贡献指南

从这里开始

  1. 先读完整个 Issue,再读项目的贡献指南。
  2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
  3. Fork 仓库,在一个分支上完成修改。
  4. 提交 Pull Request,并在描述里引用这个 Issue 编号。

abetlen/llama-cpp-python 的其他 Issue

查看 abetlen/llama-cpp-python 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。