FlashML-org/FreeToken

GitHub で見る

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

FlashML-org/FreeToken は初心者に優しい？

直近 30 日間に、FlashML-org/FreeToken は外部コントリビューターの PR 96 件のうち 31 件をマージしました。メンテナーはふだん 1 日以内に返信します。初心者向けの issue が現在 17 件オープンです。

スター: 14.2k
フォーク: 1.4k
オープンの初心者向け issue: 17
索引済み issue: 303
平均マージ: 21時間 39分
マージ済み PR（30日）: 100

主要言語: Python
ライセンス: Apache-2.0
最終 GitHub push: 2026年10月4日
最新の索引: 2026年10月4日
コントリビューションガイド: コントリビューションガイドがありません
行動規範: 行動規範がありません
初心者向けラベル: 初心者向けラベルは索引されていません

FlashML-org/FreeToken にコントリビュートするには

コントリビューションガイドはないので、README と最近マージされた PR をいくつか読んで、変更の出し方をつかみましょう。
あなたのコントリビュートはプロジェクトの Apache-2.0 ライセンスで公開されます。
下にある 17 件の初心者向けのオープンな issue から 1 つ選び、作業を始める前に取り組みたいとコメントしましょう。

初心者向けすべて

オープンすべて

誰かが対応中かもしれないイシューは最後に並べています。すべて日付順に表示

error when installing engine update
オープン
- 何か問題がありますか？
bug Desktop windows

難易度 3/5 1〜2日初心者へのやさしさ 48/100

FlashML-org/FreeToken#826 · コメント 1 件 · 2026年10月26日に作成

メンテナーはふだん 1 日以内に返信
Performance regression from v0.1.3 to v0.2.0 on RTX4060 8GB
オープン
- 何か問題がありますか？
bug windows

難易度 4/5 3〜5日初心者へのやさしさ 46/100

FlashML-org/FreeToken#822 · コメント 5 件 · 2026年10月24日に作成

メンテナーはふだん 1 日以内に返信
"Mamba State Slot" is easy to misread — suggest "session snapshots (GDN state)" with a tooltip about the VRAM budget
オープン
- 何か問題がありますか？
Desktop feature

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

FlashML-org/FreeToken#800 · コメント 1 件 · 2026年10月22日に作成

メンテナーはふだん 1 日以内に返信
Engine crash with high KV profile
オープン
- 何か問題がありますか？
bug linux

難易度 4/5 3〜5日初心者へのやさしさ 35/100

FlashML-org/FreeToken#798 · コメント 2 件 · 2026年10月22日に作成

メンテナーはふだん 1 日以内に返信
GGUF vision towers (mmproj): survey and plan
オープン
- 何か問題がありますか？
gguf

難易度 5/5 1週間以上初心者へのやさしさ 35/100

FlashML-org/FreeToken#794 · 2026年10月22日に作成

メンテナーはふだん 1 日以内に返信
New architecture request: Recursive Flint (RecursiveSI/flint — 39.8B MoE coding model, ~2.5B active)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

FlashML-org/FreeToken#786 · リアクション 2 件 · 2026年10月22日に作成

メンテナーはふだん 1 日以内に返信
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
オープン
- 何か問題がありますか？
duplicate

難易度 3/5 1〜2日初心者へのやさしさ 55/100

FlashML-org/FreeToken#784 · コメント 2 件 · 2026年10月21日に作成

メンテナーはふだん 1 日以内に返信
perf(qsa): prefill indexer scoring pads 4 heads to 16 per row; 16-row tiles are ~5x faster and bitwise identical
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 55/100

FlashML-org/FreeToken#783 · 2026年10月21日に作成

メンテナーはふだん 1 日以内に返信
[Desktop] weights failed to load: Qwen3.6-35B-A3B NVFP4
オープン
- 何か問題がありますか？
bug

難易度 4/5 3〜5日初心者へのやさしさ 43/100

FlashML-org/FreeToken#782 · コメント 2 件 · 2026年10月21日に作成

メンテナーはふだん 1 日以内に返信
Capture-time cuGraphUpload (#697) widens inter-kernel gaps in replayed decode graphs: ~1-2% slower decode
オープン
- 何か問題がありますか？
難易度 4/5 1〜2日初心者へのやさしさ 48/100

FlashML-org/FreeToken#775 · 2026年10月21日に作成

メンテナーはふだん 1 日以内に返信
Proposal: isolate logprob reads (max_tokens 1) from batch composition and the prefix cache so scoring is reproducible
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 40/100

FlashML-org/FreeToken#772 · 2026年10月20日に作成

メンテナーはふだん 1 日以内に返信
Proposal: load an FTW with fp16 NVFP4 global scales (upcast with a warning) instead of refusing it after #739
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

FlashML-org/FreeToken#769 · 2026年10月20日に作成

メンテナーはふだん 1 日以内に返信
Proposal: vLLM scoring fields on /v1/completions (allowed_token_ids, return_tokens_as_token_ids, token-id prompts) for classifier-style clients
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

FlashML-org/FreeToken#768 · 2026年10月20日に作成

メンテナーはふだん 1 日以内に返信
/v1/completions: `prompt: []` returns 200 with no choices, and both completions paths drop the error code (context_length_exceeded)
オープン
- 何か問題がありますか？
難易度 2/5 1〜3時間初心者へのやさしさ 84/100

FlashML-org/FreeToken#767 · 2026年10月20日に作成

メンテナーはふだん 1 日以内に返信
An FTW checkpoint can never serve the W4A4 NVFP4 MoE prefill, and the refusal tells you to reconvert with the option that produced it
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 48/100

FlashML-org/FreeToken#766 · 2026年10月20日に作成

メンテナーはふだん 1 日以内に返信
[Perf] Offloaded decode: overlap the expert-miss gather with the same layer's shared expert, event-ordered inside the CUDA graph (bit-exact implementation)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

FlashML-org/FreeToken#753 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Perf] Offloaded prefill: keep buffer invalidation off the prefill copy stream and give that stream top priority (short-prompt H2D 21 -> 42 GB/s under Nsight)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 46/100

FlashML-org/FreeToken#752 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Perf] Offloaded decode: gather missed experts with a few TMA bulk-copy CTAs (`cp.async.bulk`, `.shared::cta`) instead of 48 x 1024 LDG threads
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 32/100

FlashML-org/FreeToken#751 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Perf] Layer-major prefill for offloaded MoE: stream each expert layer once per prompt, not once per chunk (qwen3_5_moe)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

FlashML-org/FreeToken#750 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Bug] Context overflow is checked only after tokenization in the worker: a streamed request gets 200 plus an in-stream error, and an oversized `max_tokens` is silently clamped
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 25/100

FlashML-org/FreeToken#749 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Feature] Hybrid radix cache: greedy outputs depend on request history even when `cached_tokens` is 0 (request: cache flush endpoint / deterministic mode)
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

FlashML-org/FreeToken#748 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
[Desktop] weights failed to load: DeepSeek-V4.1-Flash-1017 FP8
オープン
- 何か問題がありますか？
new-model

難易度 4/5 3〜5日初心者へのやさしさ 52/100

FlashML-org/FreeToken#745 · コメント 1 件 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
hybrid decode halves (23 → 11 tok/s) whenever a foreign thread lands on a pinned spinning CPU-MoE pool CPU; please detect/warn, consider SCHED_FIFO or a yielding spin
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 42/100

FlashML-org/FreeToken#744 · 2026年10月19日に作成

メンテナーはふだん 1 日以内に返信
Design: how chat logprobs should behave when a reasoning or tool parser is active
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 12/100

FlashML-org/FreeToken#719 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
Streaming /v1/messages: message_start reports input_tokens 0 and no cache fields
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 62/100

FlashML-org/FreeToken#718 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
/v1/responses reports usage.output_tokens_details.reasoning_tokens = 0 even when the reply has reasoning
オープン
- 何か問題がありますか？
難易度 3/5 半日初心者へのやさしさ 62/100

FlashML-org/FreeToken#717 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
qwen3_coder streaming: a literal <tool_call> in prose hides the rest of the answer
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 38/100

FlashML-org/FreeToken#716 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
qwen3_coder: non-streaming cuts a tool-call argument at a literal </tool_call>, </function> or <parameter= inside the value
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

FlashML-org/FreeToken#715 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
qwen3_coder: a bare `<function=NAME>` block without `<tool_call>` is a call plus raw markup in non-streaming, and only text in streaming
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 35/100

FlashML-org/FreeToken#714 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
qwen3 reasoning parser: streamed content starts with "\n\n" after </think> and streamed reasoning keeps its trailing newline; non-streaming strips both
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 62/100

FlashML-org/FreeToken#712 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
qwen3_coder: non-streaming drops the text between two tool calls (streaming keeps it)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 30/100

FlashML-org/FreeToken#713 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
Reasoning parsers re-enter reasoning on a `<think>` after `</think>` when streaming, and delete it when not (qwen3, glm, minimax, deepseekv32, gemma4, minimax_m3)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 28/100

FlashML-org/FreeToken#711 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
qwen3_coder: max_tokens truncation leaks raw tool-call markup into content and arguments
オープン
- 何か問題がありますか？
bug linux

難易度 4/5 3〜5日初心者へのやさしさ 42/100

FlashML-org/FreeToken#710 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
gpt-oss: the raw Harmony tool-call block is returned as `message.content` when a call is cut by `max_tokens` (non-streaming) or when `tool_choice` is `"none"`
オープン
- 何か問題がありますか？
bug linux

難易度 3/5 1〜2日初心者へのやさしさ 50/100

FlashML-org/FreeToken#709 · 2026年10月16日に作成

メンテナーはふだん 1 日以内に返信
Support Nemotron 3.5 Super VL 120B A12B
オープン
- 何か問題がありますか？
new-model

難易度 5/5 1週間以上初心者へのやさしさ 10/100

FlashML-org/FreeToken#695 · コメント 2 件 · 2026年10月15日に作成

メンテナーはふだん 1 日以内に返信
seed and chat logprobs are silently ignored (200 with no effect); proposal for per-request seeded sampling
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 25/100

FlashML-org/FreeToken#693 · コメント 1 件 · 2026年10月15日に作成

メンテナーはふだん 1 日以内に返信
Forced tool calls and JSON output are not enforced: tool_choice "required"/named (OpenAI), "any"/"tool" (Anthropic), response_format
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 18/100

FlashML-org/FreeToken#692 · 2026年10月15日に作成

メンテナーはふだん 1 日以内に返信
[Desktop] weights failed to load: Agents-A1-NVFP4
オープン
- 何か問題がありますか？
new-model

難易度 4/5 3〜5日初心者へのやさしさ 22/100

FlashML-org/FreeToken#684 · コメント 2 件 · 2026年10月14日に作成

メンテナーはふだん 1 日以内に返信
(SWA radix cache) Prompt committed beneath a running request's expired prefix frees the tree's own slots at finish
オープン
- 何か問題がありますか？
bug linux

難易度 5/5 1週間以上初心者へのやさしさ 12/100

FlashML-org/FreeToken#683 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
A request field msgpack cannot pack answers 500 and leaks one `requests.active` permanently (`new_user` runs before `send_one`)
オープン
- 何か問題がありますか？
bug linux

難易度 3/5 1〜2日初心者へのやさしさ 62/100

FlashML-org/FreeToken#681 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
perf(ple): skip the device n-gram hash when the PLE table is the disk backend
オープン
- 何か問題がありますか？
難易度 3/5 1〜2日初心者へのやさしさ 45/100

FlashML-org/FreeToken#679 · コメント 1 件 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
perf(moe): prefetch the next layer's experts from a router lookahead during offloaded decode
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 18/100

FlashML-org/FreeToken#677 · コメント 1 件 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
perf(moe): run the shared expert beside the routed-expert miss copy in offloaded decode
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 22/100

FlashML-org/FreeToken#678 · コメント 3 件 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
NVFP4 QSA sparse attention (#408) spills under Triton 3.8: ~10x slower prefill and ~550 MiB local memory
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 12/100

FlashML-org/FreeToken#675 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
DeepSeek-V4.1's fp4_e4m3_b16 pack rounds a tied scale up on pre-sm_89 GPUs
オープン
- 何か問題がありますか？
WSL

難易度 4/5 半日初心者へのやさしさ 42/100

FlashML-org/FreeToken#673 · 2026年10月13日に作成

メンテナーはふだん 1 日以内に返信
MiniCPM-V 4.7 35B-A3B
オープン
- 何か問題がありますか？
Desktop feature

難易度 3/5 1〜2日初心者へのやさしさ 50/100

FlashML-org/FreeToken#666 · リアクション 1 件 · 2026年10月12日に作成

メンテナーはふだん 1 日以内に返信
bench bw verdict misses in the other direction: auto stays on offload (ratio ~1.9), while hybrid decodes 21% / 55% faster (Qwen3.8-Flash-Next NVFP4, RTX 4090 + dual Xeon)
オープン
- 何か問題がありますか？
難易度 4/5 3〜5日初心者へのやさしさ 42/100

FlashML-org/FreeToken#664 · 2026年10月12日に作成

メンテナーはふだん 1 日以内に返信
sm75 (Turing) fork: 35B MoE on an 8 GB RTX 2080 — 350/25 t/s, 64K context
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 20/100

FlashML-org/FreeToken#663 · 2026年10月12日に作成

メンテナーはふだん 1 日以内に返信
Requests stall and time out above `--max-running-requests 8`; GPU stays at ~28% of TDP and only one CPU thread is busy
オープン
- 何か問題がありますか？
難易度 5/5 1週間以上初心者へのやさしさ 35/100

FlashML-org/FreeToken#661 · コメント 2 件 · 2026年10月11日に作成

メンテナーはふだん 1 日以内に返信
Support Qwen3.8-Flash-Next-GSQ-RCO GGUF and integrate Strata + KVMem
オープン
- 何か問題がありますか？
Desktop feature

難易度 5/5 1週間以上初心者へのやさしさ 10/100

FlashML-org/FreeToken#658 · リアクション 2 件 · 2026年10月10日に作成

メンテナーはふだん 1 日以内に返信

FlashML-org/FreeToken

FlashML-org/FreeToken は初心者に優しい？

FlashML-org/FreeToken にコントリビュートするには

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

何か問題がありますか？

最新の 100 件のみ表示しています

新しい issue をメールで受け取る