Chủ sở hữu

FlashML-org

Đăng nhập để theo dõi

Đã lập chỉ mục 1 kho mã nguồn · Xem trên GitHub

FreeToken
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Python · 14172 star

Phù hợp cho người mới Tất cả

Đang mở Tất cả

Các issue có thể đã có người làm được xếp cuối danh sách. Sắp xếp tất cả theo ngày

gemma4 26b support
Đang mở
- Có gì không ổn?
Desktop feature

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#846 · 1 bình luận · Mở ngày 31/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
error when installing engine update
Đang mở
- Có gì không ổn?
bug Desktop windows

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100

FlashML-org/FreeToken#826 · 1 bình luận · Mở ngày 26/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Performance regression from v0.1.3 to v0.2.0 on RTX4060 8GB
Đang mở
- Có gì không ổn?
bug windows

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 46/100

FlashML-org/FreeToken#822 · 6 bình luận · Mở ngày 24/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
"Mamba State Slot" is easy to misread — suggest "session snapshots (GDN state)" with a tooltip about the VRAM budget
Đang mở
- Có gì không ổn?
Desktop feature

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100

FlashML-org/FreeToken#800 · 1 bình luận · Mở ngày 22/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Engine crash with high KV profile
Đang mở
- Có gì không ổn?
bug linux

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#798 · 2 bình luận · Mở ngày 22/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
GGUF vision towers (mmproj): survey and plan
Đang mở
- Có gì không ổn?
gguf

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#794 · Mở ngày 22/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
New architecture request: Recursive Flint (RecursiveSI/flint — 39.8B MoE coding model, ~2.5B active)
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

FlashML-org/FreeToken#786 · 2 reaction · Mở ngày 22/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
Đang mở
- Có gì không ổn?
duplicate

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

FlashML-org/FreeToken#784 · 2 bình luận · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
perf(qsa): prefill indexer scoring pads 4 heads to 16 per row; 16-row tiles are ~5x faster and bitwise identical
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100

FlashML-org/FreeToken#783 · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
Đang mở
- Có gì không ổn?
bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 43/100

FlashML-org/FreeToken#782 · 2 bình luận · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Capture-time cuGraphUpload (#697) widens inter-kernel gaps in replayed decode graphs: ~1-2% slower decode
Đang mở
- Có gì không ổn?
Độ khó 4/5 1-2 ngày Mức phù hợp với người mới 48/100

FlashML-org/FreeToken#775 · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: isolate logprob reads (max_tokens 1) from batch composition and the prefix cache so scoring is reproducible
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 40/100

FlashML-org/FreeToken#772 · Mở ngày 20/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: load an FTW with fp16 NVFP4 global scales (upcast with a warning) instead of refusing it after #739
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

FlashML-org/FreeToken#769 · Mở ngày 20/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Proposal: vLLM scoring fields on /v1/completions (allowed_token_ids, return_tokens_as_token_ids, token-id prompts) for classifier-style clients
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#768 · Mở ngày 20/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
An FTW checkpoint can never serve the W4A4 NVFP4 MoE prefill, and the refusal tells you to reconvert with the option that produced it
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

FlashML-org/FreeToken#766 · Mở ngày 20/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Perf] Offloaded decode: overlap the expert-miss gather with the same layer's shared expert, event-ordered inside the CUDA graph (bit-exact implementation)
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#753 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Perf] Offloaded prefill: keep buffer invalidation off the prefill copy stream and give that stream top priority (short-prompt H2D 21 -> 42 GB/s under Nsight)
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 46/100

FlashML-org/FreeToken#752 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Perf] Offloaded decode: gather missed experts with a few TMA bulk-copy CTAs (`cp.async.bulk`, `.shared::cta`) instead of 48 x 1024 LDG threads
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 32/100

FlashML-org/FreeToken#751 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Perf] Layer-major prefill for offloaded MoE: stream each expert layer once per prompt, not once per chunk (qwen3_5_moe)
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#750 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Bug] Context overflow is checked only after tokenization in the worker: a streamed request gets 200 plus an in-stream error, and an oversized `max_tokens` is silently clamped
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

FlashML-org/FreeToken#749 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Feature] Hybrid radix cache: greedy outputs depend on request history even when `cached_tokens` is 0 (request: cache flush endpoint / deterministic mode)
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#748 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Desktop] weights failed to load: DeepSeek-V4.1-Flash-1017 FP8
Đang mở
- Có gì không ổn?
new-model

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

FlashML-org/FreeToken#745 · 1 bình luận · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
hybrid decode halves (23 → 11 tok/s) whenever a foreign thread lands on a pinned spinning CPU-MoE pool CPU; please detect/warn, consider SCHED_FIFO or a yielding spin
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

FlashML-org/FreeToken#744 · Mở ngày 19/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Design: how chat logprobs should behave when a reasoning or tool parser is active
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 12/100

FlashML-org/FreeToken#719 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Streaming /v1/messages: message_start reports input_tokens 0 and no cache fields
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

FlashML-org/FreeToken#718 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
/v1/responses reports usage.output_tokens_details.reasoning_tokens = 0 even when the reply has reasoning
Đang mở
- Có gì không ổn?
Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 62/100

FlashML-org/FreeToken#717 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
qwen3_coder streaming: a literal <tool_call> in prose hides the rest of the answer
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

FlashML-org/FreeToken#716 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
qwen3_coder: non-streaming cuts a tool-call argument at a literal </tool_call>, </function> or <parameter= inside the value
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#715 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
qwen3_coder: a bare `<function=NAME>` block without `<tool_call>` is a call plus raw markup in non-streaming, and only text in streaming
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#714 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
qwen3 reasoning parser: streamed content starts with "\n\n" after </think> and streamed reasoning keeps its trailing newline; non-streaming strips both
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

FlashML-org/FreeToken#712 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
qwen3_coder: non-streaming drops the text between two tool calls (streaming keeps it)
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100

FlashML-org/FreeToken#713 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Reasoning parsers re-enter reasoning on a `<think>` after `</think>` when streaming, and delete it when not (qwen3, glm, minimax, deepseekv32, gemma4, minimax_m3)
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100

FlashML-org/FreeToken#711 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
qwen3_coder: max_tokens truncation leaks raw tool-call markup into content and arguments
Đang mở
- Có gì không ổn?
bug linux

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

FlashML-org/FreeToken#710 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
gpt-oss: the raw Harmony tool-call block is returned as `message.content` when a call is cut by `max_tokens` (non-streaming) or when `tool_choice` is `"none"`
Đang mở
- Có gì không ổn?
bug linux

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100

FlashML-org/FreeToken#709 · Mở ngày 16/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Support Nemotron 3.5 Super VL 120B A12B
Đang mở
- Có gì không ổn?
new-model

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100

FlashML-org/FreeToken#695 · 2 bình luận · Mở ngày 15/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
seed and chat logprobs are silently ignored (200 with no effect); proposal for per-request seeded sampling
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

FlashML-org/FreeToken#693 · 1 bình luận · Mở ngày 15/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Forced tool calls and JSON output are not enforced: tool_choice "required"/named (OpenAI), "any"/"tool" (Anthropic), response_format
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 18/100

FlashML-org/FreeToken#692 · Mở ngày 15/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Desktop] weights failed to load: Agents-A1-NVFP4
Đang mở
- Có gì không ổn?
new-model

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 22/100

FlashML-org/FreeToken#684 · 2 bình luận · Mở ngày 14/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
(SWA radix cache) Prompt committed beneath a running request's expired prefix frees the tree's own slots at finish
Đang mở
- Có gì không ổn?
bug linux

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 12/100

FlashML-org/FreeToken#683 · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
A request field msgpack cannot pack answers 500 and leaks one `requests.active` permanently (`new_user` runs before `send_one`)
Đang mở
- Có gì không ổn?
bug linux

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 62/100

FlashML-org/FreeToken#681 · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
perf(ple): skip the device n-gram hash when the PLE table is the disk backend
Đang mở
- Có gì không ổn?
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

FlashML-org/FreeToken#679 · 1 bình luận · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
perf(moe): prefetch the next layer's experts from a router lookahead during offloaded decode
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 18/100

FlashML-org/FreeToken#677 · 1 bình luận · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
perf(moe): run the shared expert beside the routed-expert miss copy in offloaded decode
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 22/100

FlashML-org/FreeToken#678 · 3 bình luận · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
NVFP4 QSA sparse attention (#408) spills under Triton 3.8: ~10x slower prefill and ~550 MiB local memory
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 12/100

FlashML-org/FreeToken#675 · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
DeepSeek-V4.1's fp4_e4m3_b16 pack rounds a tied scale up on pre-sm_89 GPUs
Đang mở
- Có gì không ổn?
WSL

Độ khó 4/5 Nửa ngày Mức phù hợp với người mới 42/100

FlashML-org/FreeToken#673 · Mở ngày 13/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
MiniCPM-V 4.7 35B-A3B
Đang mở
- Có gì không ổn?
Desktop feature

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100

FlashML-org/FreeToken#666 · 1 reaction · Mở ngày 12/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
bench bw verdict misses in the other direction: auto stays on offload (ratio ~1.9), while hybrid decodes 21% / 55% faster (Qwen3.8-Flash-Next NVFP4, RTX 4090 + dual Xeon)
Đang mở
- Có gì không ổn?
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

FlashML-org/FreeToken#664 · Mở ngày 12/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
sm75 (Turing) fork: 35B MoE on an 8 GB RTX 2080 — 350/25 t/s, 64K context
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

FlashML-org/FreeToken#663 · Mở ngày 12/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Requests stall and time out above `--max-running-requests 8`; GPU stays at ~28% of TDP and only one CPU thread is busy
Đang mở
- Có gì không ổn?
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

FlashML-org/FreeToken#661 · 2 bình luận · Mở ngày 11/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Support Qwen3.8-Flash-Next-GSQ-RCO GGUF and integrate Strata + KVMem
Đang mở
- Có gì không ổn?
Desktop feature

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100

FlashML-org/FreeToken#658 · 2 reaction · Mở ngày 10/10/2026

Maintainer thường phản hồi trong vòng 1 ngày

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

FlashML-org

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Đang hiển thị 100 mục mới nhất

Nhận issue mới trong hộp thư của bạn