Owner

FlashML-org

Zum Folgen anmelden

1 indexiertes Repository · Auf GitHub ansehen

FreeToken
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Python · 14172 Sterne

Einsteigerfreundlich Alles

Offen Alle

Issues, an denen vielleicht schon jemand arbeitet, stehen am Ende. Alles nach Datum anzeigen

error when installing engine update
Offen
- Stimmt etwas nicht?
bug Desktop windows

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 48/100

FlashML-org/FreeToken#826 · 1 Kommentar · Erstellt am 26.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Performance regression from v0.1.3 to v0.2.0 on RTX4060 8GB
Offen
- Stimmt etwas nicht?
bug windows

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 46/100

FlashML-org/FreeToken#822 · 3 Kommentare · Erstellt am 24.10.2026

Maintainer antworten meist innerhalb von 1 Tag
"Mamba State Slot" is easy to misread — suggest "session snapshots (GDN state)" with a tooltip about the VRAM budget
Offen
- Stimmt etwas nicht?
Desktop feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

FlashML-org/FreeToken#800 · 1 Kommentar · Erstellt am 22.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Engine crash with high KV profile
Offen
- Stimmt etwas nicht?
bug linux

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#798 · 2 Kommentare · Erstellt am 22.10.2026

Maintainer antworten meist innerhalb von 1 Tag
GGUF vision towers (mmproj): survey and plan
Offen
- Stimmt etwas nicht?
gguf

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#794 · Erstellt am 22.10.2026

Maintainer antworten meist innerhalb von 1 Tag
New architecture request: Recursive Flint (RecursiveSI/flint — 39.8B MoE coding model, ~2.5B active)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

FlashML-org/FreeToken#786 · 2 Reaktionen · Erstellt am 22.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
Offen
- Stimmt etwas nicht?
duplicate

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100

FlashML-org/FreeToken#784 · 2 Kommentare · Erstellt am 21.10.2026

Maintainer antworten meist innerhalb von 1 Tag
perf(qsa): prefill indexer scoring pads 4 heads to 16 per row; 16-row tiles are ~5x faster and bitwise identical
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 55/100

FlashML-org/FreeToken#783 · Erstellt am 21.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
Offen
- Stimmt etwas nicht?
bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 43/100

FlashML-org/FreeToken#782 · 2 Kommentare · Erstellt am 21.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Capture-time cuGraphUpload (#697) widens inter-kernel gaps in replayed decode graphs: ~1-2% slower decode
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 1-2 Tage Anfängerfreundlichkeit 48/100

FlashML-org/FreeToken#775 · Erstellt am 21.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Proposal: isolate logprob reads (max_tokens 1) from batch composition and the prefix cache so scoring is reproducible
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 40/100

FlashML-org/FreeToken#772 · Erstellt am 20.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Proposal: load an FTW with fp16 NVFP4 global scales (upcast with a warning) instead of refusing it after #739
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

FlashML-org/FreeToken#769 · Erstellt am 20.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Proposal: vLLM scoring fields on /v1/completions (allowed_token_ids, return_tokens_as_token_ids, token-id prompts) for classifier-style clients
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#768 · Erstellt am 20.10.2026

Maintainer antworten meist innerhalb von 1 Tag
/v1/completions: `prompt: []` returns 200 with no choices, and both completions paths drop the error code (context_length_exceeded)
Offen
- Stimmt etwas nicht?
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100

FlashML-org/FreeToken#767 · Erstellt am 20.10.2026

Maintainer antworten meist innerhalb von 1 Tag
An FTW checkpoint can never serve the W4A4 NVFP4 MoE prefill, and the refusal tells you to reconvert with the option that produced it
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

FlashML-org/FreeToken#766 · Erstellt am 20.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Perf] Offloaded decode: overlap the expert-miss gather with the same layer's shared expert, event-ordered inside the CUDA graph (bit-exact implementation)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#753 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Perf] Offloaded prefill: keep buffer invalidation off the prefill copy stream and give that stream top priority (short-prompt H2D 21 -> 42 GB/s under Nsight)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 46/100

FlashML-org/FreeToken#752 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Perf] Offloaded decode: gather missed experts with a few TMA bulk-copy CTAs (`cp.async.bulk`, `.shared::cta`) instead of 48 x 1024 LDG threads
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 32/100

FlashML-org/FreeToken#751 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Perf] Layer-major prefill for offloaded MoE: stream each expert layer once per prompt, not once per chunk (qwen3_5_moe)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#750 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Bug] Context overflow is checked only after tokenization in the worker: a streamed request gets 200 plus an in-stream error, and an oversized `max_tokens` is silently clamped
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

FlashML-org/FreeToken#749 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Feature] Hybrid radix cache: greedy outputs depend on request history even when `cached_tokens` is 0 (request: cache flush endpoint / deterministic mode)
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#748 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Desktop] weights failed to load: DeepSeek-V4.1-Flash-1017 FP8
Offen
- Stimmt etwas nicht?
new-model

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 52/100

FlashML-org/FreeToken#745 · 1 Kommentar · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
hybrid decode halves (23 → 11 tok/s) whenever a foreign thread lands on a pinned spinning CPU-MoE pool CPU; please detect/warn, consider SCHED_FIFO or a yielding spin
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

FlashML-org/FreeToken#744 · Erstellt am 19.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Design: how chat logprobs should behave when a reasoning or tool parser is active
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 12/100

FlashML-org/FreeToken#719 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Streaming /v1/messages: message_start reports input_tokens 0 and no cache fields
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 62/100

FlashML-org/FreeToken#718 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
/v1/responses reports usage.output_tokens_details.reasoning_tokens = 0 even when the reply has reasoning
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 62/100

FlashML-org/FreeToken#717 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
qwen3_coder streaming: a literal <tool_call> in prose hides the rest of the answer
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

FlashML-org/FreeToken#716 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
qwen3_coder: non-streaming cuts a tool-call argument at a literal </tool_call>, </function> or <parameter= inside the value
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#715 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
qwen3_coder: a bare `<function=NAME>` block without `<tool_call>` is a call plus raw markup in non-streaming, and only text in streaming
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#714 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
qwen3 reasoning parser: streamed content starts with "\n\n" after </think> and streamed reasoning keeps its trailing newline; non-streaming strips both
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 62/100

FlashML-org/FreeToken#712 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
qwen3_coder: non-streaming drops the text between two tool calls (streaming keeps it)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100

FlashML-org/FreeToken#713 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Reasoning parsers re-enter reasoning on a `<think>` after `</think>` when streaming, and delete it when not (qwen3, glm, minimax, deepseekv32, gemma4, minimax_m3)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 28/100

FlashML-org/FreeToken#711 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
qwen3_coder: max_tokens truncation leaks raw tool-call markup into content and arguments
Offen
- Stimmt etwas nicht?
bug linux

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

FlashML-org/FreeToken#710 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
gpt-oss: the raw Harmony tool-call block is returned as `message.content` when a call is cut by `max_tokens` (non-streaming) or when `tool_choice` is `"none"`
Offen
- Stimmt etwas nicht?
bug linux

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 50/100

FlashML-org/FreeToken#709 · Erstellt am 16.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Support Nemotron 3.5 Super VL 120B A12B
Offen
- Stimmt etwas nicht?
new-model

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 10/100

FlashML-org/FreeToken#695 · 2 Kommentare · Erstellt am 15.10.2026

Maintainer antworten meist innerhalb von 1 Tag
seed and chat logprobs are silently ignored (200 with no effect); proposal for per-request seeded sampling
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

FlashML-org/FreeToken#693 · 1 Kommentar · Erstellt am 15.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Forced tool calls and JSON output are not enforced: tool_choice "required"/named (OpenAI), "any"/"tool" (Anthropic), response_format
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 18/100

FlashML-org/FreeToken#692 · Erstellt am 15.10.2026

Maintainer antworten meist innerhalb von 1 Tag
[Desktop] weights failed to load: Agents-A1-NVFP4
Offen
- Stimmt etwas nicht?
new-model

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 22/100

FlashML-org/FreeToken#684 · 2 Kommentare · Erstellt am 14.10.2026

Maintainer antworten meist innerhalb von 1 Tag
(SWA radix cache) Prompt committed beneath a running request's expired prefix frees the tree's own slots at finish
Offen
- Stimmt etwas nicht?
bug linux

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 12/100

FlashML-org/FreeToken#683 · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
A request field msgpack cannot pack answers 500 and leaks one `requests.active` permanently (`new_user` runs before `send_one`)
Offen
- Stimmt etwas nicht?
bug linux

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 62/100

FlashML-org/FreeToken#681 · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
perf(ple): skip the device n-gram hash when the PLE table is the disk backend
Offen
- Stimmt etwas nicht?
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100

FlashML-org/FreeToken#679 · 1 Kommentar · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
perf(moe): prefetch the next layer's experts from a router lookahead during offloaded decode
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 18/100

FlashML-org/FreeToken#677 · 1 Kommentar · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
perf(moe): run the shared expert beside the routed-expert miss copy in offloaded decode
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 22/100

FlashML-org/FreeToken#678 · 3 Kommentare · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
NVFP4 QSA sparse attention (#408) spills under Triton 3.8: ~10x slower prefill and ~550 MiB local memory
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 12/100

FlashML-org/FreeToken#675 · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
DeepSeek-V4.1's fp4_e4m3_b16 pack rounds a tied scale up on pre-sm_89 GPUs
Offen
- Stimmt etwas nicht?
WSL

Schwierigkeit 4/5 Ein halber Tag Anfängerfreundlichkeit 42/100

FlashML-org/FreeToken#673 · Erstellt am 13.10.2026

Maintainer antworten meist innerhalb von 1 Tag
MiniCPM-V 4.7 35B-A3B
Offen
- Stimmt etwas nicht?
Desktop feature

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 50/100

FlashML-org/FreeToken#666 · 1 Reaktion · Erstellt am 12.10.2026

Maintainer antworten meist innerhalb von 1 Tag
bench bw verdict misses in the other direction: auto stays on offload (ratio ~1.9), while hybrid decodes 21% / 55% faster (Qwen3.8-Flash-Next NVFP4, RTX 4090 + dual Xeon)
Offen
- Stimmt etwas nicht?
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

FlashML-org/FreeToken#664 · Erstellt am 12.10.2026

Maintainer antworten meist innerhalb von 1 Tag
sm75 (Turing) fork: 35B MoE on an 8 GB RTX 2080 — 350/25 t/s, 64K context
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

FlashML-org/FreeToken#663 · Erstellt am 12.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Requests stall and time out above `--max-running-requests 8`; GPU stays at ~28% of TDP and only one CPU thread is busy
Offen
- Stimmt etwas nicht?
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

FlashML-org/FreeToken#661 · 2 Kommentare · Erstellt am 11.10.2026

Maintainer antworten meist innerhalb von 1 Tag
Support Qwen3.8-Flash-Next-GSQ-RCO GGUF and integrate Strata + KVMem
Offen
- Stimmt etwas nicht?
Desktop feature

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 10/100

FlashML-org/FreeToken#658 · 2 Reaktionen · Erstellt am 10.10.2026

Maintainer antworten meist innerhalb von 1 Tag

Die neuesten 100 werden angezeigt

Diese Seite listet nur das zuletzt Erfasste. Der vollständige Bestand steht im erweiterten Filter, eingegrenzt nach Sprache, Schwierigkeit und Aufwand.

Erweiterten Filter öffnen

FlashML-org

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Stimmt etwas nicht?

Die neuesten 100 werden angezeigt

Neue Issues direkt in Ihr Postfach