ROCm/FastFlowLM

在 GitHub 查看

Run LLMs on AMD Ryzen™ AI NPUs in minutes; purpose-built and deeply optimized for the AMD NPUs.

星标: 1.9k
派生: 152
开放的新手 issue: 6
已索引 issue: 152
平均合并: 4 小时 14 分钟
30 天内合并 PR: 11

主要语言: C++
许可证: MIT
最近 GitHub push: 2026年9月18日
最近索引: 2026年9月20日
贡献指南: 贡献指南
行为准则: 没有行为准则
新手标签: 没有已索引的新手标签

适合新手全部

未关闭全部

目前已索引 152 个未关闭的 Issue

[Bug, Issue]: ASR model (whisper-large-v3-turbo) not explicitly named in v1/models, so doesn't work with stricter openAI compatible connections 未关闭

难度 3/5 1-2 天新手友好度 65/100

ROCm/FastFlowLM#746 · 1 条评论 · 2026年9月19日创建
[Feature]: Add support for Cactus Compute Needle model 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#745 · 2026年9月18日创建
No valid checkpoint to restore + Max length reached on multi-turn tool calls (Qwen3.6-MoE, NPU) 未关闭

难度 2/5 1-3 小时新手友好度 82/100

ROCm/FastFlowLM#744 · 2 条评论 · 2026年9月18日创建
Truncated tool call is emitted as a complete one (unterminated heredoc reaches the client) 未关闭

难度 2/5 1-3 小时新手友好度 78/100

ROCm/FastFlowLM#741 · 1 条评论 · 2026年9月18日创建
Non-streaming responses leak <think> tags into content for qwen3.5, qwen3.6-moe, qwen3vl and qwen3.5-omni 未关闭

难度 3/5 1-2 天新手友好度 70/100

ROCm/FastFlowLM#739 · 1 条评论 · 2026年9月18日创建
[Feature]: KV-cache reuse for shared-prefix one-shot requests (prefix caching / partial truncate) 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#737 · 2026年9月17日创建
Prompt cache: identical resend never hits, partial match discards everything, and nothing is sent during prefill 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#733 · 2 条评论 · 2026年9月17日创建
v1.0.4 regression: embed-gemma:300m embeddings via --embed 1 are wrong (uncorrelated with v0.9.39 on identical weights) 未关闭

难度 4/5 3-5 天新手友好度 35/100

ROCm/FastFlowLM#732 · 2026年9月17日创建
[Feature/Model Request]: Support for NPU-accelerated Text-to-Speech (TTS) models 未关闭

难度 5/5 一周以上新手友好度 30/100

ROCm/FastFlowLM#731 · 2026年9月17日创建
[Issue]: `usage.prompt_tokens` on the OpenAI-compatible endpoints reports only the tokens prefilled on the current turn 未关闭

难度 2/5 1-3 小时新手友好度 75/100

ROCm/FastFlowLM#730 · 2026年9月17日创建
[Documentation]: How to generate SRT/VTT transcripts 未关闭

难度 4/5 3-5 天新手友好度 35/100

ROCm/FastFlowLM#726 · 2026年9月13日创建
[Issue]: [Bug][Linux] flm serve crash: C++ assertion failure '!this->empty()' in std::vector<logits_t>::back() 未关闭

难度 4/5 3-5 天新手友好度 48/100

ROCm/FastFlowLM#725 · 2026年9月12日创建
[Issue]: Gemma4 tool-call parsing produces wrong name and arguments (v1.0.5) 未关闭

难度 3/5 1-2 天新手友好度 66/100

ROCm/FastFlowLM#722 · 3 条评论 · 2026年9月10日创建
Flm with gemma 4 has very poor ability to call tools 未关闭

难度 4/5 3-5 天新手友好度 35/100

ROCm/FastFlowLM#721 · 2 条评论 · 1 个 reaction · 2026年9月10日创建
Inconsistent memory consumption? 未关闭

难度 4/5 3-5 天新手友好度 35/100

ROCm/FastFlowLM#720 · 2026年9月10日创建
[Issue]: JSON literal data types instead of strings 未关闭

难度 4/5 3-5 天新手友好度 35/100

ROCm/FastFlowLM#719 · 2026年9月10日创建
The directory for models is not configurable in the new MSI installer 未关闭

难度 3/5 1-2 天新手友好度 55/100

ROCm/FastFlowLM#718 · 2026年9月10日创建
Server silently serves the resident model for unresolvable model tags, echoing the requested name 未关闭

难度 4/5 3-5 天新手友好度 64/100

ROCm/FastFlowLM#716 · 1 条评论 · 2026年9月9日创建
[Feature]: Support MiniCPM5-2B top-ranked open 2B model 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#715 · 2026年9月8日创建
Qwen3-8B on XDNA2 (Strix Halo): only ~10 tok/s decode + slow TTFT vs GPU - is this expected? 未关闭

难度 4/5 3-5 天新手友好度 48/100

ROCm/FastFlowLM#713 · 2026年9月8日创建
[Model Support]: Unofficial MiniCPM5-2B Q4NX pack for XDNA 2 未关闭

难度 4/5 3-5 天新手友好度 45/100

ROCm/FastFlowLM#712 · 11 条评论 · 2026年9月8日创建
[Feature]: Publish signed binaries 未关闭

难度 4/5 3-5 天新手友好度 38/100

ROCm/FastFlowLM#711 · 2026年9月7日创建
Qwen3.6-35B-A3B Linux v1.0.4: ~2.7s fixed per-request TTFT = ~4,900 serialized per-expert NPU execs — validated coarsening fix (concatenated-expert GEMM) 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#710 · 2 个 reaction · 2026年9月6日创建
[Linux] Weight bos are MAP_LOCKED — models >~18GB cannot load on 22.6GB RAM machines and some request 未关闭

难度 5/5 一周以上新手友好度 25/100

ROCm/FastFlowLM#709 · 2026年9月5日创建
[Issue]: v1.0.4 causes NPU hardware crash (0xc00002b6) and Kernel Deadlock on AMD Ryzen AI (v1.0.3 works fine) 未关闭

难度 5/5 一周以上新手友好度 25/100

ROCm/FastFlowLM#708 · 1 条评论 · 2026年9月5日创建
[Feature]: Trivial/Low-Priority/Unimportant: F.L.M. Mel & Kim 未关闭

难度 5/5 一周以上新手友好度 15/100

ROCm/FastFlowLM#707 · 1 个 reaction · 2026年9月4日创建
[Issue]: Qwen3.5 / Qwen3.6 family fails to load on Strix Halo (Ryzen AI MAX+ 395, NPU2) — CREATE_HWCTX err=-22, while all other models work 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#705 · 3 条评论 · 2026年9月3日创建
Support request: Bielik-11B-v3.0-Instruct-heretic-MPOA on Ryzen AI NPU 未关闭

难度 5/5 一周以上新手友好度 25/100

ROCm/FastFlowLM#704 · 2026年9月3日创建
[Bug] Whisper transcription truncated after ~16 tokens (any clip with >~4s of continuous speech) 未关闭

难度 3/5 1-2 天新手友好度 74/100

ROCm/FastFlowLM#698 · 1 条评论 · 2026年9月1日创建
[Issue]: Todos status argument missing in Tool calling 未关闭

难度 4/5 3-5 天新手友好度 35/100

ROCm/FastFlowLM#697 · 2 条评论 · 2026年9月1日创建
[Feature]: Support for iFlytek's Newly Open-Sourced Edge-Side Models (Spark X2.5-4B & 1.7B) 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#696 · 1 条评论 · 1 个 reaction · 2026年9月1日创建
[Issue]: Whisper periodic forced timestamp sampling truncates Japanese sentence endings 未关闭

难度 4/5 3-5 天新手友好度 52/100

ROCm/FastFlowLM#694 · 1 条评论 · 2026年8月31日创建
[Feature]: Qwen3.8-Flash-Next 未关闭

难度 5/5 一周以上新手友好度 30/100

ROCm/FastFlowLM#692 · 3 条评论 · 8 个 reaction · 2026年8月28日创建
[Feature]: Model Request: JetBrains Mellum2‑12B‑A2.5B‑Thinking & Mellum2‑12B‑A2.5B‑Instruct (MoE) 未关闭

难度 4/5 3-5 天新手友好度 45/100

ROCm/FastFlowLM#691 · 3 个 reaction · 2026年8月28日创建
[ Request/Plea ] Let the Open Source Community Support You 未关闭

难度 5/5 一周以上新手友好度 20/100

ROCm/FastFlowLM#690 · 38 条评论 · 7 个 reaction · 2026年8月27日创建
v1.0.2 crashes (0xC0000005) loading qwen3.6-moe:35b-a3b weights downloaded with v0.9.45 — `flm pull` doesn't detect outdated weights 未关闭

难度 4/5 3-5 天新手友好度 52/100

ROCm/FastFlowLM#685 · 1 条评论 · 2026年8月25日创建
gpt-oss:20b never emits tool_calls even with valid OpenAI-style tools schema + tool_choice:auto 未关闭

难度 4/5 3-5 天新手友好度 55/100

ROCm/FastFlowLM#684 · 1 个 reaction · 2026年8月24日创建
[Model request]: Meta Muse Glimmer 30B 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#683 · 1 条评论 · 1 个 reaction · 2026年8月24日创建
Server stops accepting connections after 10 client aborts — connection slot leak ("Connection limit reached (10)") 未关闭

难度 3/5 1-2 天新手友好度 68/100

ROCm/FastFlowLM#680 · 1 条评论 · 1 个 reaction · 2026年8月20日创建
FLM 1.0.2 on Linux: Qwen3.5 4B and 9B hang during prefill, while Llama 3.2 and Qwen3.6 work 未关闭

难度 4/5 3-5 天新手友好度 42/100

ROCm/FastFlowLM#678 · 2 条评论 · 1 个 reaction · 2026年8月19日创建
Qwen3.6-35B-A3B emits garbage tokens and gpt-oss-20b crashes on Gorgon Point (Ryzen AI 9 HX 470); HRX source build crashes in qwen3_npu.dll 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#677 · 7 条评论 · 3 个 reaction · 2026年8月19日创建
[Feature]: New Python wrapper 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#676 · 1 个 reaction · 2026年8月19日创建
[Feature]: Qwen3.8-27B please 未关闭

难度 5/5 一周以上新手友好度 35/100

ROCm/FastFlowLM#673 · 4 条评论 · 12 个 reaction · 2026年8月18日创建
/api/show returns stubs — populate model_info context_length + details so Ollama-compatible clients can auto-configure 未关闭

难度 3/5 1-2 天新手友好度 74/100

ROCm/FastFlowLM#671 · 3 条评论 · 1 个 reaction · 2026年8月15日创建
flm-real segfaults on NPU firmware timeout when GPU is concurrently active via ROCm (Strix Halo) — companion to amd/xdna-driver#1605 未关闭

难度 4/5 3-5 天新手友好度 38/100

ROCm/FastFlowLM#670 · 1 条评论 · 2026年8月14日创建
[ GUIDE **WILL NEVER WORK ABOVE 1.0.1** ] - Converting and adding finetunes (unofficial but functional) 未关闭

难度 3/5 1-2 天新手友好度 38/100

ROCm/FastFlowLM#669 · 1 条评论 · 1 个 reaction · 2026年8月14日创建
Apply a "chat" label to LLMs 未关闭

难度 3/5 1-2 天新手友好度 52/100

ROCm/FastFlowLM#668 · 2026年8月13日创建
embed-gemma:300m returns a collapsed embedding space: deterministic, but unusable for retrieval (same model via llama.cpp is correct) 未关闭

难度 4/5 3-5 天新手友好度 52/100

ROCm/FastFlowLM#661 · 13 条评论 · 2026年8月10日创建
IOCTL regression using ASR and embedding models simultaneously (Krackan Point) 未关闭

难度 4/5 3-5 天新手友好度 38/100

ROCm/FastFlowLM#655 · 7 条评论 · 2026年8月6日创建
Nanbeige4.2-3B please 未关闭

难度 4/5 3-5 天新手友好度 48/100

ROCm/FastFlowLM#653 · 1 条评论 · 2026年8月6日创建

ROCm/FastFlowLM

把新 issue 发到你的邮箱