Can RotorQuant/TurboQuant and dflash support be added?
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Calme
- Domaine
- ai-infra-agents, backend
Piste de recherche
L’issue demande d’ajouter la prise en charge de TurboQuant/RotorQuant et du speculative decoding dFlash aux bindings de llama-cpp-python. Commencez par examiner le code des bindings existants dans le dépôt afin de comprendre comment les fonctionnalités de quantification et de speculative decoding sont actuellement intégrées. Consultez le projet upstream llama.cpp pour trouver d’éventuelles implémentations ou discussions existantes sur ces fonctionnalités. Déterminez les changements nécessaires dans les bindings C++ et l’interface Python, puis vérifiez le processus de build afin de garantir la compatibilité.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Hi!
This project is very useful for using with llama.cpp in python. However, it would be great if we could have some features even before the main llama.cpp has full support for them. By that I mean TurboQuant/RotorQuant and dFlash speculative decoding. It would make this entire library AMAZING to use.
- Langage dominant
- Python
- Étoiles
- 10.7k
- Forks
- 1.5k
- Merge moyen
- 1 h 40 min
- PR mergées (30 j)
- 5
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de abetlen/llama-cpp-python
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
abetlen/llama-cpp-python#2424 ·
Les mainteneurs répondent en général sous 1 jour
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsPeut-être pris @Belal0066 l’a pris il y a 59 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
abetlen/llama-cpp-python#2371 ·
Les mainteneurs répondent en général sous 1 jour
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Peut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2352 · 1 commentaire · 3 réactions ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
abetlen/llama-cpp-python#2314 ·
Les mainteneurs répondent en général sous 1 jour
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayPeut-être à nouveau libre @lxcxjxhx l’a pris il y a 136 jours, et aucune pull request n’est ouverte. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2211 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de abetlen/llama-cpp-python
Issues similaires
-
Bug IronPython Python 3
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
pyrevitlabs/pyRevit#4184 ·
Les mainteneurs répondent en général sous 1 jour
-
CLAW (Agents & Orchestration)Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
Les mainteneurs répondent en général sous 3 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
[Plugin] 群聊记忆 · 人格养成Ouverte
Difficulté 1/5 1-3 heures Accessibilité débutants 74/100