draft-mtp on PQ2_0 fails: Hadamard-latent table 'token_embd.weight' is read without the inverse transform (draft context not covered by PR #169)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 40/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- cpp
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Start from the draft-context creation path that emits the Hadamard-latent table error and compare it with the main-model path fixed by PR #169; token_embd.weight is the table read without the inverse transform. Read the PQ2_0 dequant/init code and the kvarn2 draft-cache handling, then reproduce with the provided llama-server command. Done means the draft context initializes for the PQ2_0 MTP file and --spec-type draft-mtp runs without that error.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Version
v0.4.8 (ed8f24f17, build 12471)
Problem
--spec-type draft-mtp fails at draft-context init for the PQ2_0 combined MTP file (Ternary-Bonsai-2-27B PQ2_0 + embedded MTP head as blk.64, 7.66 GB):
Hadamard-latent table 'token_embd.weight' is read without the inverse transform → failed to create MTP context
The main model loads and serves the same PQ2_0 file correctly (PR #169 fixed that path — thank you), but the draft context init path reads token_embd.weight without applying the inverse hadamard transform. Same file, same server: plain serving works (48.6 tok/s @32K q4/q4 measured on our 5060 Ti 16 GB), spec arm aborts with the error above.
Additionally, the kvarn2 draft-cache type is not supported for this draft (the other half of why bonsai-mtp-style setups can't run on beellama today).
Config
llama-server -m Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf -ngl 99 -np 1 \
-c 32768 -ctk q4_0 -ctv q4_0 -fa on -b 2048 -ub 512 \
--spec-type draft-mtp --spec-draft-n-max 3
(Run on CUDA SM120 / RTX 5060 Ti; the failure is at init, hardware-independent.)
Context
This blocks running MTP speculation on PQ2_0 packs entirely on beellama — our eval (A23, one-binary consolidation test vs the PrismML fork) had to leave the MTP slot on the prism/ProCreations runtime. The fix shape is presumably the same inverse-transform application PR #169 does for the main model, extended to the draft-context read path. Happy to test a fix — the file, hardware, and full gate harness are standing.
- Ngôn ngữ chính
- C++
- Star
- 1.2k
- Fork
- 80
- Merge trung bình
- 4 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 2
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Anbeeld/beellama.cpp#205 ·
-
Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 58/100
Anbeeld/beellama.cpp#206 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 57/100
Anbeeld/beellama.cpp#204 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
Anbeeld/beellama.cpp#203 · 2 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
Anbeeld/beellama.cpp#202 · 1 bình luận ·
Tất cả issue của Anbeeld/beellama.cpp
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
CachyOS/packageinstaller#144 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
TomerAberbach/profiler-md#951 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysCó thể đã có người làm @0z5a đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
apache/pulsar-client-go#1575 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pocoproject/poco#5764 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug cpp-core-guidelines low-priority
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
NatronGitHub/openfx-supportext#164 ·
Maintainer thường phản hồi trong vòng 1 ngày