FlashML-org/FreeToken

登录后关注

在 GitHub 查看

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

FlashML-org/FreeToken 对新手友好吗？

近 30 天，FlashML-org/FreeToken 合并了外部贡献者提交的 96 个 PR 中的 31 个，维护者通常 1 天内回复。目前有 17 个适合新手的 issue 开放。

星标: 14.2k
派生: 1.4k
开放的新手 issue: 17
已索引 issue: 303
平均合并: 21 小时 39 分钟
30 天内合并 PR: 100

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年10月4日
最近索引: 2026年10月4日
贡献指南: 没有贡献指南
行为准则: 没有行为准则
新手标签: 没有已索引的新手标签

如何为 FlashML-org/FreeToken 做贡献

这个项目没有贡献指南，可以先读 README，再看几个最近合并的 PR，了解改动是怎么提交的。
你的贡献将以该项目的 Apache-2.0 许可证发布。
从下方 17 个开放的新手友好 issue 中选一个，开始之前先留言说明你想认领它。

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

error when installing engine update
未关闭
- 哪里不对？
bug Desktop windows

难度 3/5 1-2 天新手友好度 48/100

FlashML-org/FreeToken#826 · 1 条评论 · 2026年10月26日创建

维护者通常 1 天内回复
Performance regression from v0.1.3 to v0.2.0 on RTX4060 8GB
未关闭
- 哪里不对？
bug windows

难度 4/5 3-5 天新手友好度 46/100

FlashML-org/FreeToken#822 · 5 条评论 · 2026年10月24日创建

维护者通常 1 天内回复
"Mamba State Slot" is easy to misread — suggest "session snapshots (GDN state)" with a tooltip about the VRAM budget
未关闭
- 哪里不对？
Desktop feature

难度 2/5 1-3 小时新手友好度 72/100

FlashML-org/FreeToken#800 · 1 条评论 · 2026年10月22日创建

维护者通常 1 天内回复
Engine crash with high KV profile
未关闭
- 哪里不对？
bug linux

难度 4/5 3-5 天新手友好度 35/100

FlashML-org/FreeToken#798 · 2 条评论 · 2026年10月22日创建

维护者通常 1 天内回复
GGUF vision towers (mmproj): survey and plan
未关闭
- 哪里不对？
gguf

难度 5/5 一周以上新手友好度 35/100

FlashML-org/FreeToken#794 · 2026年10月22日创建

维护者通常 1 天内回复
New architecture request: Recursive Flint (RecursiveSI/flint — 39.8B MoE coding model, ~2.5B active)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

FlashML-org/FreeToken#786 · 2 个 reaction · 2026年10月22日创建

维护者通常 1 天内回复
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
未关闭
- 哪里不对？
duplicate

难度 3/5 1-2 天新手友好度 55/100

FlashML-org/FreeToken#784 · 2 条评论 · 2026年10月21日创建

维护者通常 1 天内回复
perf(qsa): prefill indexer scoring pads 4 heads to 16 per row; 16-row tiles are ~5x faster and bitwise identical
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 55/100

FlashML-org/FreeToken#783 · 2026年10月21日创建

维护者通常 1 天内回复
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 43/100

FlashML-org/FreeToken#782 · 2 条评论 · 2026年10月21日创建

维护者通常 1 天内回复
Capture-time cuGraphUpload (#697) widens inter-kernel gaps in replayed decode graphs: ~1-2% slower decode
未关闭
- 哪里不对？
难度 4/5 1-2 天新手友好度 48/100

FlashML-org/FreeToken#775 · 2026年10月21日创建

维护者通常 1 天内回复
Proposal: isolate logprob reads (max_tokens 1) from batch composition and the prefix cache so scoring is reproducible
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 40/100

FlashML-org/FreeToken#772 · 2026年10月20日创建

维护者通常 1 天内回复
Proposal: load an FTW with fp16 NVFP4 global scales (upcast with a warning) instead of refusing it after #739
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

FlashML-org/FreeToken#769 · 2026年10月20日创建

维护者通常 1 天内回复
Proposal: vLLM scoring fields on /v1/completions (allowed_token_ids, return_tokens_as_token_ids, token-id prompts) for classifier-style clients
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

FlashML-org/FreeToken#768 · 2026年10月20日创建

维护者通常 1 天内回复
/v1/completions: `prompt: []` returns 200 with no choices, and both completions paths drop the error code (context_length_exceeded)
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 84/100

FlashML-org/FreeToken#767 · 2026年10月20日创建

维护者通常 1 天内回复
An FTW checkpoint can never serve the W4A4 NVFP4 MoE prefill, and the refusal tells you to reconvert with the option that produced it
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

FlashML-org/FreeToken#766 · 2026年10月20日创建

维护者通常 1 天内回复
[Perf] Offloaded decode: overlap the expert-miss gather with the same layer's shared expert, event-ordered inside the CUDA graph (bit-exact implementation)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

FlashML-org/FreeToken#753 · 2026年10月19日创建

维护者通常 1 天内回复
[Perf] Offloaded prefill: keep buffer invalidation off the prefill copy stream and give that stream top priority (short-prompt H2D 21 -> 42 GB/s under Nsight)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 46/100

FlashML-org/FreeToken#752 · 2026年10月19日创建

维护者通常 1 天内回复
[Perf] Offloaded decode: gather missed experts with a few TMA bulk-copy CTAs (`cp.async.bulk`, `.shared::cta`) instead of 48 x 1024 LDG threads
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 32/100

FlashML-org/FreeToken#751 · 2026年10月19日创建

维护者通常 1 天内回复
[Perf] Layer-major prefill for offloaded MoE: stream each expert layer once per prompt, not once per chunk (qwen3_5_moe)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

FlashML-org/FreeToken#750 · 2026年10月19日创建

维护者通常 1 天内回复
[Bug] Context overflow is checked only after tokenization in the worker: a streamed request gets 200 plus an in-stream error, and an oversized `max_tokens` is silently clamped
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 25/100

FlashML-org/FreeToken#749 · 2026年10月19日创建

维护者通常 1 天内回复
[Feature] Hybrid radix cache: greedy outputs depend on request history even when `cached_tokens` is 0 (request: cache flush endpoint / deterministic mode)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

FlashML-org/FreeToken#748 · 2026年10月19日创建

维护者通常 1 天内回复
[Desktop] weights failed to load: DeepSeek-V4.1-Flash-1017 FP8
未关闭
- 哪里不对？
new-model

难度 4/5 3-5 天新手友好度 52/100

FlashML-org/FreeToken#745 · 1 条评论 · 2026年10月19日创建

维护者通常 1 天内回复
hybrid decode halves (23 → 11 tok/s) whenever a foreign thread lands on a pinned spinning CPU-MoE pool CPU; please detect/warn, consider SCHED_FIFO or a yielding spin
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

FlashML-org/FreeToken#744 · 2026年10月19日创建

维护者通常 1 天内回复
Design: how chat logprobs should behave when a reasoning or tool parser is active
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 12/100

FlashML-org/FreeToken#719 · 2026年10月16日创建

维护者通常 1 天内回复
Streaming /v1/messages: message_start reports input_tokens 0 and no cache fields
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 62/100

FlashML-org/FreeToken#718 · 2026年10月16日创建

维护者通常 1 天内回复
/v1/responses reports usage.output_tokens_details.reasoning_tokens = 0 even when the reply has reasoning
未关闭
- 哪里不对？
难度 3/5 半天新手友好度 62/100

FlashML-org/FreeToken#717 · 2026年10月16日创建

维护者通常 1 天内回复
qwen3_coder streaming: a literal <tool_call> in prose hides the rest of the answer
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

FlashML-org/FreeToken#716 · 2026年10月16日创建

维护者通常 1 天内回复
qwen3_coder: non-streaming cuts a tool-call argument at a literal </tool_call>, </function> or <parameter= inside the value
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

FlashML-org/FreeToken#715 · 2026年10月16日创建

维护者通常 1 天内回复
qwen3_coder: a bare `<function=NAME>` block without `<tool_call>` is a call plus raw markup in non-streaming, and only text in streaming
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

FlashML-org/FreeToken#714 · 2026年10月16日创建

维护者通常 1 天内回复
qwen3 reasoning parser: streamed content starts with "\n\n" after </think> and streamed reasoning keeps its trailing newline; non-streaming strips both
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 62/100

FlashML-org/FreeToken#712 · 2026年10月16日创建

维护者通常 1 天内回复
qwen3_coder: non-streaming drops the text between two tool calls (streaming keeps it)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 30/100

FlashML-org/FreeToken#713 · 2026年10月16日创建

维护者通常 1 天内回复
Reasoning parsers re-enter reasoning on a `<think>` after `</think>` when streaming, and delete it when not (qwen3, glm, minimax, deepseekv32, gemma4, minimax_m3)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 28/100

FlashML-org/FreeToken#711 · 2026年10月16日创建

维护者通常 1 天内回复
qwen3_coder: max_tokens truncation leaks raw tool-call markup into content and arguments
未关闭
- 哪里不对？
bug linux

难度 4/5 3-5 天新手友好度 42/100

FlashML-org/FreeToken#710 · 2026年10月16日创建

维护者通常 1 天内回复
gpt-oss: the raw Harmony tool-call block is returned as `message.content` when a call is cut by `max_tokens` (non-streaming) or when `tool_choice` is `"none"`
未关闭
- 哪里不对？
bug linux

难度 3/5 1-2 天新手友好度 50/100

FlashML-org/FreeToken#709 · 2026年10月16日创建

维护者通常 1 天内回复
Support Nemotron 3.5 Super VL 120B A12B
未关闭
- 哪里不对？
new-model

难度 5/5 一周以上新手友好度 10/100

FlashML-org/FreeToken#695 · 2 条评论 · 2026年10月15日创建

维护者通常 1 天内回复
seed and chat logprobs are silently ignored (200 with no effect); proposal for per-request seeded sampling
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

FlashML-org/FreeToken#693 · 1 条评论 · 2026年10月15日创建

维护者通常 1 天内回复
Forced tool calls and JSON output are not enforced: tool_choice "required"/named (OpenAI), "any"/"tool" (Anthropic), response_format
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 18/100

FlashML-org/FreeToken#692 · 2026年10月15日创建

维护者通常 1 天内回复
[Desktop] weights failed to load: Agents-A1-NVFP4
未关闭
- 哪里不对？
new-model

难度 4/5 3-5 天新手友好度 22/100

FlashML-org/FreeToken#684 · 2 条评论 · 2026年10月14日创建

维护者通常 1 天内回复
(SWA radix cache) Prompt committed beneath a running request's expired prefix frees the tree's own slots at finish
未关闭
- 哪里不对？
bug linux

难度 5/5 一周以上新手友好度 12/100

FlashML-org/FreeToken#683 · 2026年10月13日创建

维护者通常 1 天内回复
A request field msgpack cannot pack answers 500 and leaks one `requests.active` permanently (`new_user` runs before `send_one`)
未关闭
- 哪里不对？
bug linux

难度 3/5 1-2 天新手友好度 62/100

FlashML-org/FreeToken#681 · 2026年10月13日创建

维护者通常 1 天内回复
perf(ple): skip the device n-gram hash when the PLE table is the disk backend
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 45/100

FlashML-org/FreeToken#679 · 1 条评论 · 2026年10月13日创建

维护者通常 1 天内回复
perf(moe): prefetch the next layer's experts from a router lookahead during offloaded decode
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 18/100

FlashML-org/FreeToken#677 · 1 条评论 · 2026年10月13日创建

维护者通常 1 天内回复
perf(moe): run the shared expert beside the routed-expert miss copy in offloaded decode
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 22/100

FlashML-org/FreeToken#678 · 3 条评论 · 2026年10月13日创建

维护者通常 1 天内回复
NVFP4 QSA sparse attention (#408) spills under Triton 3.8: ~10x slower prefill and ~550 MiB local memory
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 12/100

FlashML-org/FreeToken#675 · 2026年10月13日创建

维护者通常 1 天内回复
DeepSeek-V4.1's fp4_e4m3_b16 pack rounds a tied scale up on pre-sm_89 GPUs
未关闭
- 哪里不对？
WSL

难度 4/5 半天新手友好度 42/100

FlashML-org/FreeToken#673 · 2026年10月13日创建

维护者通常 1 天内回复
MiniCPM-V 4.7 35B-A3B
未关闭
- 哪里不对？
Desktop feature

难度 3/5 1-2 天新手友好度 50/100

FlashML-org/FreeToken#666 · 1 个 reaction · 2026年10月12日创建

维护者通常 1 天内回复
bench bw verdict misses in the other direction: auto stays on offload (ratio ~1.9), while hybrid decodes 21% / 55% faster (Qwen3.8-Flash-Next NVFP4, RTX 4090 + dual Xeon)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

FlashML-org/FreeToken#664 · 2026年10月12日创建

维护者通常 1 天内回复
sm75 (Turing) fork: 35B MoE on an 8 GB RTX 2080 — 350/25 t/s, 64K context
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 20/100

FlashML-org/FreeToken#663 · 2026年10月12日创建

维护者通常 1 天内回复
Requests stall and time out above `--max-running-requests 8`; GPU stays at ~28% of TDP and only one CPU thread is busy
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

FlashML-org/FreeToken#661 · 2 条评论 · 2026年10月11日创建

维护者通常 1 天内回复
Support Qwen3.8-Flash-Next-GSQ-RCO GGUF and integrate Strata + KVMem
未关闭
- 哪里不对？
Desktop feature

难度 5/5 一周以上新手友好度 10/100

FlashML-org/FreeToken#658 · 2 个 reaction · 2026年10月10日创建

维护者通常 1 天内回复

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

FlashML-org/FreeToken

FlashML-org/FreeToken 对新手友好吗？

如何为 FlashML-org/FreeToken 做贡献

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

只显示最新的 100 条

把新 issue 发到你的邮箱