Owner

FlashML-org

登入後關注

已索引 1 個儲存庫 · 在 GitHub 檢視

FreeToken
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Python · 14172 個 star

適合新手全部

未關閉全部

可能已有人在做的 issue 排在最後。全部依時間排序

error when installing engine update
未關閉
- 哪裡不對？
bug Desktop windows

難度 3/5 1-2 天新手友好度 48/100

FlashML-org/FreeToken#826 · 1 則留言 · 2026年10月26日建立

維護者通常 1 天內回覆
Performance regression from v0.1.3 to v0.2.0 on RTX4060 8GB
未關閉
- 哪裡不對？
bug windows

難度 4/5 3-5 天新手友好度 46/100

FlashML-org/FreeToken#822 · 6 則留言 · 2026年10月24日建立

維護者通常 1 天內回覆
"Mamba State Slot" is easy to misread — suggest "session snapshots (GDN state)" with a tooltip about the VRAM budget
未關閉
- 哪裡不對？
Desktop feature

難度 2/5 1-3 小時新手友好度 72/100

FlashML-org/FreeToken#800 · 1 則留言 · 2026年10月22日建立

維護者通常 1 天內回覆
Engine crash with high KV profile
未關閉
- 哪裡不對？
bug linux

難度 4/5 3-5 天新手友好度 35/100

FlashML-org/FreeToken#798 · 2 則留言 · 2026年10月22日建立

維護者通常 1 天內回覆
GGUF vision towers (mmproj): survey and plan
未關閉
- 哪裡不對？
gguf

難度 5/5 一週以上新手友好度 35/100

FlashML-org/FreeToken#794 · 2026年10月22日建立

維護者通常 1 天內回覆
New architecture request: Recursive Flint (RecursiveSI/flint — 39.8B MoE coding model, ~2.5B active)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

FlashML-org/FreeToken#786 · 2 個 reaction · 2026年10月22日建立

維護者通常 1 天內回覆
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
未關閉
- 哪裡不對？
duplicate

難度 3/5 1-2 天新手友好度 55/100

FlashML-org/FreeToken#784 · 2 則留言 · 2026年10月21日建立

維護者通常 1 天內回覆
perf(qsa): prefill indexer scoring pads 4 heads to 16 per row; 16-row tiles are ~5x faster and bitwise identical
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 55/100

FlashML-org/FreeToken#783 · 2026年10月21日建立

維護者通常 1 天內回覆
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
未關閉
- 哪裡不對？
bug

難度 4/5 3-5 天新手友好度 43/100

FlashML-org/FreeToken#782 · 2 則留言 · 2026年10月21日建立

維護者通常 1 天內回覆
Capture-time cuGraphUpload (#697) widens inter-kernel gaps in replayed decode graphs: ~1-2% slower decode
未關閉
- 哪裡不對？
難度 4/5 1-2 天新手友好度 48/100

FlashML-org/FreeToken#775 · 2026年10月21日建立

維護者通常 1 天內回覆
Proposal: isolate logprob reads (max_tokens 1) from batch composition and the prefix cache so scoring is reproducible
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 40/100

FlashML-org/FreeToken#772 · 2026年10月20日建立

維護者通常 1 天內回覆
Proposal: load an FTW with fp16 NVFP4 global scales (upcast with a warning) instead of refusing it after #739
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

FlashML-org/FreeToken#769 · 2026年10月20日建立

維護者通常 1 天內回覆
Proposal: vLLM scoring fields on /v1/completions (allowed_token_ids, return_tokens_as_token_ids, token-id prompts) for classifier-style clients
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

FlashML-org/FreeToken#768 · 2026年10月20日建立

維護者通常 1 天內回覆
/v1/completions: `prompt: []` returns 200 with no choices, and both completions paths drop the error code (context_length_exceeded)
未關閉
- 哪裡不對？
難度 2/5 1-3 小時新手友好度 84/100

FlashML-org/FreeToken#767 · 2026年10月20日建立

維護者通常 1 天內回覆
An FTW checkpoint can never serve the W4A4 NVFP4 MoE prefill, and the refusal tells you to reconvert with the option that produced it
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

FlashML-org/FreeToken#766 · 2026年10月20日建立

維護者通常 1 天內回覆
[Perf] Offloaded decode: overlap the expert-miss gather with the same layer's shared expert, event-ordered inside the CUDA graph (bit-exact implementation)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

FlashML-org/FreeToken#753 · 2026年10月19日建立

維護者通常 1 天內回覆
[Perf] Offloaded prefill: keep buffer invalidation off the prefill copy stream and give that stream top priority (short-prompt H2D 21 -> 42 GB/s under Nsight)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 46/100

FlashML-org/FreeToken#752 · 2026年10月19日建立

維護者通常 1 天內回覆
[Perf] Offloaded decode: gather missed experts with a few TMA bulk-copy CTAs (`cp.async.bulk`, `.shared::cta`) instead of 48 x 1024 LDG threads
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 32/100

FlashML-org/FreeToken#751 · 2026年10月19日建立

維護者通常 1 天內回覆
[Perf] Layer-major prefill for offloaded MoE: stream each expert layer once per prompt, not once per chunk (qwen3_5_moe)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

FlashML-org/FreeToken#750 · 2026年10月19日建立

維護者通常 1 天內回覆
[Bug] Context overflow is checked only after tokenization in the worker: a streamed request gets 200 plus an in-stream error, and an oversized `max_tokens` is silently clamped
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 25/100

FlashML-org/FreeToken#749 · 2026年10月19日建立

維護者通常 1 天內回覆
[Feature] Hybrid radix cache: greedy outputs depend on request history even when `cached_tokens` is 0 (request: cache flush endpoint / deterministic mode)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

FlashML-org/FreeToken#748 · 2026年10月19日建立

維護者通常 1 天內回覆
[Desktop] weights failed to load: DeepSeek-V4.1-Flash-1017 FP8
未關閉
- 哪裡不對？
new-model

難度 4/5 3-5 天新手友好度 52/100

FlashML-org/FreeToken#745 · 1 則留言 · 2026年10月19日建立

維護者通常 1 天內回覆
hybrid decode halves (23 → 11 tok/s) whenever a foreign thread lands on a pinned spinning CPU-MoE pool CPU; please detect/warn, consider SCHED_FIFO or a yielding spin
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 42/100

FlashML-org/FreeToken#744 · 2026年10月19日建立

維護者通常 1 天內回覆
Design: how chat logprobs should behave when a reasoning or tool parser is active
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 12/100

FlashML-org/FreeToken#719 · 2026年10月16日建立

維護者通常 1 天內回覆
Streaming /v1/messages: message_start reports input_tokens 0 and no cache fields
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 62/100

FlashML-org/FreeToken#718 · 2026年10月16日建立

維護者通常 1 天內回覆
/v1/responses reports usage.output_tokens_details.reasoning_tokens = 0 even when the reply has reasoning
未關閉
- 哪裡不對？
難度 3/5 半天新手友好度 62/100

FlashML-org/FreeToken#717 · 2026年10月16日建立

維護者通常 1 天內回覆
qwen3_coder streaming: a literal <tool_call> in prose hides the rest of the answer
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 38/100

FlashML-org/FreeToken#716 · 2026年10月16日建立

維護者通常 1 天內回覆
qwen3_coder: non-streaming cuts a tool-call argument at a literal </tool_call>, </function> or <parameter= inside the value
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

FlashML-org/FreeToken#715 · 2026年10月16日建立

維護者通常 1 天內回覆
qwen3_coder: a bare `<function=NAME>` block without `<tool_call>` is a call plus raw markup in non-streaming, and only text in streaming
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

FlashML-org/FreeToken#714 · 2026年10月16日建立

維護者通常 1 天內回覆
qwen3 reasoning parser: streamed content starts with "\n\n" after </think> and streamed reasoning keeps its trailing newline; non-streaming strips both
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 62/100

FlashML-org/FreeToken#712 · 2026年10月16日建立

維護者通常 1 天內回覆
qwen3_coder: non-streaming drops the text between two tool calls (streaming keeps it)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 30/100

FlashML-org/FreeToken#713 · 2026年10月16日建立

維護者通常 1 天內回覆
Reasoning parsers re-enter reasoning on a `<think>` after `</think>` when streaming, and delete it when not (qwen3, glm, minimax, deepseekv32, gemma4, minimax_m3)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 28/100

FlashML-org/FreeToken#711 · 2026年10月16日建立

維護者通常 1 天內回覆
qwen3_coder: max_tokens truncation leaks raw tool-call markup into content and arguments
未關閉
- 哪裡不對？
bug linux

難度 4/5 3-5 天新手友好度 42/100

FlashML-org/FreeToken#710 · 2026年10月16日建立

維護者通常 1 天內回覆
gpt-oss: the raw Harmony tool-call block is returned as `message.content` when a call is cut by `max_tokens` (non-streaming) or when `tool_choice` is `"none"`
未關閉
- 哪裡不對？
bug linux

難度 3/5 1-2 天新手友好度 50/100

FlashML-org/FreeToken#709 · 2026年10月16日建立

維護者通常 1 天內回覆
Support Nemotron 3.5 Super VL 120B A12B
未關閉
- 哪裡不對？
new-model

難度 5/5 一週以上新手友好度 10/100

FlashML-org/FreeToken#695 · 2 則留言 · 2026年10月15日建立

維護者通常 1 天內回覆
seed and chat logprobs are silently ignored (200 with no effect); proposal for per-request seeded sampling
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

FlashML-org/FreeToken#693 · 1 則留言 · 2026年10月15日建立

維護者通常 1 天內回覆
Forced tool calls and JSON output are not enforced: tool_choice "required"/named (OpenAI), "any"/"tool" (Anthropic), response_format
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 18/100

FlashML-org/FreeToken#692 · 2026年10月15日建立

維護者通常 1 天內回覆
[Desktop] weights failed to load: Agents-A1-NVFP4
未關閉
- 哪裡不對？
new-model

難度 4/5 3-5 天新手友好度 22/100

FlashML-org/FreeToken#684 · 2 則留言 · 2026年10月14日建立

維護者通常 1 天內回覆
(SWA radix cache) Prompt committed beneath a running request's expired prefix frees the tree's own slots at finish
未關閉
- 哪裡不對？
bug linux

難度 5/5 一週以上新手友好度 12/100

FlashML-org/FreeToken#683 · 2026年10月13日建立

維護者通常 1 天內回覆
A request field msgpack cannot pack answers 500 and leaks one `requests.active` permanently (`new_user` runs before `send_one`)
未關閉
- 哪裡不對？
bug linux

難度 3/5 1-2 天新手友好度 62/100

FlashML-org/FreeToken#681 · 2026年10月13日建立

維護者通常 1 天內回覆
perf(ple): skip the device n-gram hash when the PLE table is the disk backend
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 45/100

FlashML-org/FreeToken#679 · 1 則留言 · 2026年10月13日建立

維護者通常 1 天內回覆
perf(moe): prefetch the next layer's experts from a router lookahead during offloaded decode
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 18/100

FlashML-org/FreeToken#677 · 1 則留言 · 2026年10月13日建立

維護者通常 1 天內回覆
perf(moe): run the shared expert beside the routed-expert miss copy in offloaded decode
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 22/100

FlashML-org/FreeToken#678 · 3 則留言 · 2026年10月13日建立

維護者通常 1 天內回覆
NVFP4 QSA sparse attention (#408) spills under Triton 3.8: ~10x slower prefill and ~550 MiB local memory
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 12/100

FlashML-org/FreeToken#675 · 2026年10月13日建立

維護者通常 1 天內回覆
DeepSeek-V4.1's fp4_e4m3_b16 pack rounds a tied scale up on pre-sm_89 GPUs
未關閉
- 哪裡不對？
WSL

難度 4/5 半天新手友好度 42/100

FlashML-org/FreeToken#673 · 2026年10月13日建立

維護者通常 1 天內回覆
MiniCPM-V 4.7 35B-A3B
未關閉
- 哪裡不對？
Desktop feature

難度 3/5 1-2 天新手友好度 50/100

FlashML-org/FreeToken#666 · 1 個 reaction · 2026年10月12日建立

維護者通常 1 天內回覆
bench bw verdict misses in the other direction: auto stays on offload (ratio ~1.9), while hybrid decodes 21% / 55% faster (Qwen3.8-Flash-Next NVFP4, RTX 4090 + dual Xeon)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 42/100

FlashML-org/FreeToken#664 · 2026年10月12日建立

維護者通常 1 天內回覆
sm75 (Turing) fork: 35B MoE on an 8 GB RTX 2080 — 350/25 t/s, 64K context
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 20/100

FlashML-org/FreeToken#663 · 2026年10月12日建立

維護者通常 1 天內回覆
Requests stall and time out above `--max-running-requests 8`; GPU stays at ~28% of TDP and only one CPU thread is busy
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

FlashML-org/FreeToken#661 · 2 則留言 · 2026年10月11日建立

維護者通常 1 天內回覆
Support Qwen3.8-Flash-Next-GSQ-RCO GGUF and integrate Strata + KVMem
未關閉
- 哪裡不對？
Desktop feature

難度 5/5 一週以上新手友好度 10/100

FlashML-org/FreeToken#658 · 2 個 reaction · 2026年10月10日建立

維護者通常 1 天內回覆

只顯示最新的 100 筆

這個頁面只列出最近收錄的部分。完整清單在進階篩選裡，可以依語言、難度和預計耗時篩選。

前往進階篩選

FlashML-org

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

只顯示最新的 100 筆

把新 issue 寄到你的電子郵件信箱