draft-mtp on PQ2_0 fails: Hadamard-latent table 'token_embd.weight' is read without the inverse transform (draft context not covered by PR #169)

Ouverte
#190 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
40/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
cpp

Piste de recherche

Start from the draft-context creation path that emits the Hadamard-latent table error and compare it with the main-model path fixed by PR #169; token_embd.weight is the table read without the inverse transform. Read the PQ2_0 dequant/init code and the kvarn2 draft-cache handling, then reproduce with the provided llama-server command. Done means the draft context initializes for the PQ2_0 MTP file and --spec-type draft-mtp runs without that error.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Version

v0.4.8 (ed8f24f17, build 12471)

Problem

--spec-type draft-mtp fails at draft-context init for the PQ2_0 combined MTP file (Ternary-Bonsai-2-27B PQ2_0 + embedded MTP head as blk.64, 7.66 GB):

Hadamard-latent table 'token_embd.weight' is read without the inverse transform → failed to create MTP context

The main model loads and serves the same PQ2_0 file correctly (PR #169 fixed that path — thank you), but the draft context init path reads token_embd.weight without applying the inverse hadamard transform. Same file, same server: plain serving works (48.6 tok/s @32K q4/q4 measured on our 5060 Ti 16 GB), spec arm aborts with the error above.

Additionally, the kvarn2 draft-cache type is not supported for this draft (the other half of why bonsai-mtp-style setups can't run on beellama today).

Config
llama-server -m Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf -ngl 99 -np 1 \
  -c 32768 -ctk q4_0 -ctv q4_0 -fa on -b 2048 -ub 512 \
  --spec-type draft-mtp --spec-draft-n-max 3

(Run on CUDA SM120 / RTX 5060 Ti; the failure is at init, hardware-independent.)

Context

This blocks running MTP speculation on PQ2_0 packs entirely on beellama — our eval (A23, one-binary consolidation test vs the PrismML fork) had to leave the MTP slot on the prism/ProCreations runtime. The fix shape is presumably the same inverse-transform application PR #169 does for the main model, extended to the draft-context read path. Happy to test a fix — the file, hardware, and full gate harness are standing.

Langage dominant
C++
Étoiles
1.2k
Forks
80
Merge moyen
4 j 20 h
PR mergées (30 j)
2

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de Anbeeld/beellama.cpp

Toutes les issues de Anbeeld/beellama.cpp

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.