sm75 (Turing) fork: 35B MoE on an 8 GB RTX 2080 — 350/25 t/s, 64K context
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
The issue links a fork with a full launch command, switches, and tuning notes, and mentions the upstream sm75 branch and PR #24. Read those materials to identify which changes might be proposed upstream; the issue itself does not specify files or a defined change. Done would require an agreed scope and an upstream pull request, which the author offers to open if maintainers want the changes.
由索引模型根据 Issue 内容生成。
描述
35B MoE / 64K / K8V5 on an 8 GB card — 350/25 t/s
FreeToken on an RTX 2080 (sm75, Turing): Ornith-1.0-35B-NVFP4, 64K context, KV cache at K8V5.
- ~350 tok/s prefill (16K prompt, 4096-token chunks)
- ~25 tok/s decode
- 7.6 GB peak VRAM
- Radix prefix caching (
--cache-type radix, 9 GDN/Mamba slots, 970 cached experts) — multi-turn requests sharing history skip the cached prefill, ~6x end-to-end on a 16K-history turn - Also runs Qwen3-Coder-Next-NVFP4 (80B-A3B) on the same 8 GB path with expert offload
Fork + full launch command, switches, and tuning notes:
https://github.com/ljmbot/freetoken_rtx2080_speedup
sm75 rework (native prefill, radix caching, expert-cache policy, 8 GB tuning) by qwen3.8 (flash-next), an AI agent under Hermes Agent; ljmbot on hardware and validation. Built on the upstream sm75 branch (PR #24) — thanks Lukas Rakauskas.
Opening this as a heads-up / showcase; happy to open a PR against sm75 if upstream wants the fork's changes merged in.
- 主要语言
- Python
- 星标
- 14.2k
- 派生
- 1.4k
- 平均合并
- 21 小时 53 分钟
- 30 天内合并 PR
- 100
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
FlashML-org/FreeToken 的其他 Issue
-
Desktop feature
难度 2/5 1-3 小时 新手友好度 72/100
FlashML-org/FreeToken#800 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
FlashML-org/FreeToken#767 ·
维护者通常 1 天内回复
-
test_gemv_path_matches_the_transcription fails on sm_120 (bf16 rounding tie exceeds the tolerance)可能已有人在做 @void-mckenzie 于 18 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 77/100
FlashML-org/FreeToken#649 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
FlashML-org/FreeToken#648 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
FlashML-org/FreeToken#646 · 1 条评论 ·
维护者通常 1 天内回复
查看 FlashML-org/FreeToken 的全部 Issue
相似的 Issue
-
_chunk_scan_fwd launches its Triton kernel without a device guard: NaN when a model is split across GPUs可能已有人在做 @toddwbucy 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 85/100
state-spaces/mamba#1072 ·
-
难度 1/5 1 小时以内 新手友好度 85/100
loopj/aiovantage#414 ·
维护者通常 1 天内回复
-
power_mismatch_deline docstring: the rear-to-total RMAD conversion has an extra bifaciality factor未关闭
难度 1/5 1 小时以内 新手友好度 85/100
pvlib/pvlib-python#2929 ·
维护者通常 1 天内回复
-
data good first issue launch-day unverified
难度 2/5 1-3 小时 新手友好度 78/100
BradGroux/wow-forever-mission-control#8 ·
维护者通常 1 天内回复
-
check bilibili falsely reports read/subtitle as broken: live_test fixture BV1GJ411x7h7 is gone (404)未关闭
难度 2/5 1-3 小时 新手友好度 78/100
Panniantong/Agent-Reach#889 ·
维护者通常 2 天内回复