LlamaPromptLookupDecoding gives no performance improvement
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- ai, performance
Rechercherichtung
Untersuche die llama-cpp-python-Bindings für den Parameter draft_model und die Klasse LlamaPromptLookupDecoding. Überprüfe die zugrunde liegende llama.cpp-Implementierung der prompt lookup decoding, um den erwarteten Leistungszuwachs zu verstehen. Teste verschiedene Prompt-Strukturen und Modellkonfigurationen, um zu überprüfen, ob das Feature aktiv ist, und miss die Geschwindigkeit der Token-Generierung.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I'm automating spelling correction. Currently I'm testing this on a Mistral 7B Instruction Q4_K_M model running in llama.cpp using python bindings, and it works fine. I submit text fragments up to ~2000 characters.
I bumped into the "draft_model" option that does "prompt lookup decoding" (a.k.a. token prediction). Because my output is very similar to my prompt text, I'd assume that activating this would bring me significant performance gain.
But I've been testing this out and I see no performance gain at all, comparing the inference with and without the 'draft_model' option activated. I've tried different values for 'num_pred_tokens', but that doesn't make any difference either.
Using llama.ccp 0.3.16. I'm running on CPU. My prompts consists of an instruction in English and then the text to be corrected in Dutch.
Maybe I'm doing something wrong? Or maybe I don't understand the purpose of this option?
Initialization:
n_ctx = 4096
llm = Llama(
model_path=model_path,
n_ctx=n_ctx,
n_threads=8,
temperature=0,
chat_format=None,
draft_model=LlamaPromptLookupDecoding(num_pred_tokens=3),
logits_all=True,
)
Inference:
output = llm(
prompt=prompt_text,
max_tokens=2048,
temperature=0,
echo=True
)
- Vorherrschende Sprache
- Python
- Sterne
- 10.7k
- Forks
- 1.5k
- Ø Merge
- 1 Std. 40 Min.
- Gemergte PRs (30 T.)
- 5
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus abetlen/llama-cpp-python
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
abetlen/llama-cpp-python#2424 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsEvtl. vergeben @Belal0066 hat das vor 59 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
abetlen/llama-cpp-python#2371 ·
Maintainer antworten meist innerhalb von 1 Tag
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Evtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2352 · 1 Kommentar · 3 Reaktionen ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
abetlen/llama-cpp-python#2314 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayEvtl. wieder frei @lxcxjxhx hat das vor 136 Tagen übernommen, und es ist kein Pull Request offen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2211 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in abetlen/llama-cpp-python
Ähnliche Issues
-
Bug IronPython Python 3
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
pyrevitlabs/pyRevit#4184 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
Maintainer antworten meist innerhalb von 3 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Plugin] 群聊记忆 · 人格养成Offen
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 74/100