draft-mtp on PQ2_0 fails: Hadamard-latent table 'token_embd.weight' is read without the inverse transform (draft context not covered by PR #169)

Aberta
#190 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
40/100
Tipo de issue
Bug
Clareza
Razoavelmente clara
Status de atividade
Ativa
Stack de tecnologia
cpp
Domínio
machine-learning

Direção de pesquisa

Start from the draft-context creation path that emits the Hadamard-latent table error and compare it with the main-model path fixed by PR #169; token_embd.weight is the table read without the inverse transform. Read the PQ2_0 dequant/init code and the kvarn2 draft-cache handling, then reproduce with the provided llama-server command. Done means the draft context initializes for the PQ2_0 MTP file and --spec-type draft-mtp runs without that error.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Version

v0.4.8 (ed8f24f17, build 12471)

Problem

--spec-type draft-mtp fails at draft-context init for the PQ2_0 combined MTP file (Ternary-Bonsai-2-27B PQ2_0 + embedded MTP head as blk.64, 7.66 GB):

Hadamard-latent table 'token_embd.weight' is read without the inverse transform → failed to create MTP context

The main model loads and serves the same PQ2_0 file correctly (PR #169 fixed that path — thank you), but the draft context init path reads token_embd.weight without applying the inverse hadamard transform. Same file, same server: plain serving works (48.6 tok/s @32K q4/q4 measured on our 5060 Ti 16 GB), spec arm aborts with the error above.

Additionally, the kvarn2 draft-cache type is not supported for this draft (the other half of why bonsai-mtp-style setups can't run on beellama today).

Config
llama-server -m Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf -ngl 99 -np 1 \
  -c 32768 -ctk q4_0 -ctv q4_0 -fa on -b 2048 -ub 512 \
  --spec-type draft-mtp --spec-draft-n-max 3

(Run on CUDA SM120 / RTX 5060 Ti; the failure is at init, hardware-independent.)

Context

This blocks running MTP speculation on PQ2_0 packs entirely on beellama — our eval (A23, one-binary consolidation test vs the PrismML fork) had to leave the MTP slot on the prism/ProCreations runtime. The fix shape is presumably the same inverse-transform application PR #169 does for the main model, extended to the draft-context read path. Happy to test a fix — the file, hardware, and full gate harness are standing.

Linguagem predominante
C++
Estrelas
1.2k
Forks
80
Merge médio
4d 20h
PRs com merge (30d)
2

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de Anbeeld/beellama.cpp

Todas as issues de Anbeeld/beellama.cpp

Issues semelhantes

Mais issues de C++

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.