Engine crash with high KV profile
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
调研方向
Start by reviewing the attached freetoken.log and the reported settings, then trace the prefill path used when the agent requests new output in FreeToken 0.2.0. Compare its KV profile and VRAM allocation behavior with the previous engine version; done means reproducing the crash and identifying why VRAM is fully consumed on the reported RTX 5050 setup.
由索引模型根据 Issue 内容生成。
描述
Before you start
- I have read the FAQ and my problem is not answered there.
- I have read the Roadmap and this is not already planned there.
- I have searched existing issues and found no duplicate.
- I am on the latest release, or on a freshly rebuilt
mainwhen building from source.
What happened
freetoken.log
With these settings, i can run agent on it with previous freetoken engine version. Now its spawn full my vram after crash.
The problem happen on prefill, when agent start to request new.
How did you install FreeToken
pip / uv wheel
FreeToken version
freetoken version 0.2.0+gfe5a5ec9c
OS
Arch Linux
OS details
7.2.11-arch1-1
GPU and driver
RTX 5050 Laptop GPU 8GB VRAM
CPU and system RAM
i7-13650HX, 32GB
Checkpoint
nvidia/Qwen3.6-35B-A3B-NVFP4
Command
freetoken-desktop v0.2.0-beta.24
Full log
Anything else
No response
- 主要语言
- Python
- 星标
- 14.2k
- 派生
- 1.4k
- 平均合并
- 21 小时 39 分钟
- 30 天内合并 PR
- 100
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
FlashML-org/FreeToken 的其他 Issue
-
Desktop feature
难度 2/5 1-3 小时 新手友好度 72/100
FlashML-org/FreeToken#800 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
FlashML-org/FreeToken#767 ·
维护者通常 1 天内回复
-
test_gemv_path_matches_the_transcription fails on sm_120 (bf16 rounding tie exceeds the tolerance)可能已有人在做 @void-mckenzie 于 16 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 77/100
FlashML-org/FreeToken#649 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
FlashML-org/FreeToken#648 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
FlashML-org/FreeToken#646 · 1 条评论 ·
维护者通常 1 天内回复
查看 FlashML-org/FreeToken 的全部 Issue
相似的 Issue
-
Support .aac audio uploads可能已有人在做 @julien731 今天认领。 未关闭feature
难度 2/5 1-3 小时 新手友好度 78/100
nimblehq/audio-transcriber#153 ·
-
help wanted
难度 2/5 1-3 小时 新手友好度 68/100
antonyrag/ragleap-core#1062 ·
-
needs-triage
难度 2/5 1-3 小时 新手友好度 76/100
gke-labs/kube-agents#4321 ·
维护者通常 1 天内回复
-
enhancement help wanted
难度 2/5 1-3 小时 新手友好度 76/100
Git-Hospital/githealthcheck#61 ·
维护者通常 1 天内回复
-
changelog investigate
难度 2/5 1-3 小时 新手友好度 67/100
ramnes/notion-sdk-py#433 ·