Can RotorQuant/TurboQuant and dflash support be added?

Ouverte
#2,184 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Calme
Stack technique
c, python

Piste de recherche

L’issue demande d’ajouter la prise en charge de TurboQuant/RotorQuant et du speculative decoding dFlash aux bindings de llama-cpp-python. Commencez par examiner le code des bindings existants dans le dépôt afin de comprendre comment les fonctionnalités de quantification et de speculative decoding sont actuellement intégrées. Consultez le projet upstream llama.cpp pour trouver d’éventuelles implémentations ou discussions existantes sur ces fonctionnalités. Déterminez les changements nécessaires dans les bindings C++ et l’interface Python, puis vérifiez le processus de build afin de garantir la compatibilité.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hi!
This project is very useful for using with llama.cpp in python. However, it would be great if we could have some features even before the main llama.cpp has full support for them. By that I mean TurboQuant/RotorQuant and dFlash speculative decoding. It would make this entire library AMAZING to use.

Langage dominant
Python
Étoiles
10.7k
Forks
1.5k
Merge moyen
1 h 40 min
PR mergées (30 j)
5

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de abetlen/llama-cpp-python

Toutes les issues de abetlen/llama-cpp-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.