Can RotorQuant/TurboQuant and dflash support be added?

Aperta
#2,184 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
c, python

Direzione di ricerca

La issue richiede di aggiungere il supporto per TurboQuant/RotorQuant e dFlash speculative decoding ai binding di llama-cpp-python. Inizia esaminando il codice dei binding esistenti nel repository per capire come sono attualmente integrate le funzionalità di quantizzazione e speculative decoding. Controlla il progetto upstream llama.cpp per individuare eventuali implementazioni o discussioni esistenti su queste funzionalità. Determina quali modifiche sono necessarie nei binding C++ e nell’interfaccia Python, quindi verifica il processo di build per garantire la compatibilità.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi!
This project is very useful for using with llama.cpp in python. However, it would be great if we could have some features even before the main llama.cpp has full support for them. By that I mean TurboQuant/RotorQuant and dFlash speculative decoding. It would make this entire library AMAZING to use.

Lingua principale
Python
Stelle
10.7k
Fork
1.5k
Merge medio
1h 40m
PR unite (30g)
5

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di abetlen/llama-cpp-python

Tutte le issue di abetlen/llama-cpp-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.