Bug Report: Server crashes after generating first response with Falcon3-10B-Instruct-1.58bit
維護者通常 6 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 48/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 冷清
研究方向
從 run_inference_server.py 或其等效程式開始，透過 Open WebUI 使用 Falcon3-10B-Instruct-1.58bit 重現 Windows 11 故障。檢查 n_prompt_tokens = 269 附近的第二條提示處理路徑，以及記錄在日誌中的控制權杖處理；完成的標準是伺服器能夠處理多個聊天回合，而不會以 0xC00000FD 結束。
由索引模型根據 Issue 內容生成。
描述
Describe the bug
I am running the official bitnet.cpp server (run_inference_server.py or equivalent) with the Falcon3-10B-Instruct-1.58bit model (GGUF I2_S from tiiuae/Falcon3-10B-Instruct-1.58bit-GGUF).
UPD: with official bitnet too.
Steps to reproduce:
-
Start the server on port 8080.
-
Connect via Open WebUI (OpenAI-compatible API).
-
Send the first chat message → model generates a normal response.
-
Send the second message → server immediately crashes with exit code 3221225725 (0xC00000FD — stack overflow?).
Logs during model load:
llm_load_vocab: control token: 2019 '>>UNUSED_1893<<' is not marked as EOG
llm_load_vocab: control token: 2022 '>>UNUSED_1896<<' is not marked as EOG
...
llm_load_print_meta: arch = llama
llm_load_print_meta: model type = 13B
llm_load_print_meta: model ftype = I2_S - 2 bpw ternary
llm_load_print_meta: general.name = Falcon3-10B-Instruct-1.58bit
llm_load_print_meta: BOS/EOS/EOT/EOG token = 11 '<|endoftext|>'
llm_load_print_meta: PAD token = 2023 '<|pad|>'
The crash happens right after the second prompt processing (n_prompt_tokens = 269 in the log).
Environment
-
OS: Windows 11
-
bitnet.cpp version: latest (cloned from microsoft/BitNet)
-
Model: Falcon3-10B-Instruct-1.58bit (I2_S)
-
Frontend: Open WebUI
-
Context: 4096
Expected behavior
The server should continue working for multiple turns without crashing.
Additional context
This looks like a vocabulary / special token handling issue specific to Falcon3 1.58-bit models (many >>UNUSED_xxxx<< control tokens are not properly marked as EOG). Similar warnings appear in other issues, but the crash after the first successful response seems new.
I can provide the full log file (server_20260405_122502.log) if needed.
Thank you!
- 主要語言
- C++
- 星號
- 41.2k
- 分支
- 3.8k
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南，環境需要你自己搭建：先看它的 README，通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
microsoft/BitNet 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 86/100
microsoft/BitNet#618 · 2 則留言 ·
維護者通常 6 天內回覆
-
i2_s SIGSEGVs at n_ubatch >= 32: BLAS backend dequantises by a row stride 4x the real packed row未關閉
難度 2/5 1-3 小時 新手友好度 76/100
microsoft/BitNet#601 · 3 則留言 ·
維護者通常 6 天內回覆
-
難度 2/5 1-3 小時 新手友好度 86/100
microsoft/BitNet#578 · 1 則留言 · 3 個 reaction ·
維護者通常 6 天內回覆
-
Warning: `huggingface-cli` is deprecated and no longer works. Use `hf` instead.可能已有人在做 @ousamabenyounes 於 76 天前認領。 未關閉
難度 1/5 1 小時以內 新手友好度 92/100
microsoft/BitNet#560 · 2 則留言 ·
維護者通常 6 天內回覆
-
難度 2/5 1-3 小時 新手友好度 76/100
microsoft/BitNet#513 · 3 則留言 · 1 個 reaction ·
維護者通常 6 天內回覆
相似的 Issue
-
[Bug] [Go] Ack returns nil when the server answers with a non-OK status可能已有人在做 @leizhiyuan 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 84/100
apache/rocketmq-clients#1465 ·
維護者通常 2 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
KhronosGroup/Vulkan-Tutorial#534 ·
-
難度 2/5 1-3 小時 新手友好度 65/100
維護者通常 2 天內回覆
-
bug IO
難度 2/5 1-3 小時 新手友好度 65/100
MrNeRF/LichtFeld-Studio#3824 ·
維護者通常 1 天內回覆
-
pnnx: manual tanh GELU fusion loses the approximation mode可能已有人在做 @ktz03 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 78/100
Tencent/ncnn#7175 · 1 個 reaction ·
維護者通常 1 天內回覆