ROCm/FastFlowLM

Run LLMs on AMD Ryzen™ AI NPUs in minutes; purpose-built and deeply optimized for the AMD NPUs.

Estrellas: 1.9k
Forks: 152
Issues abiertos para principiantes: 6
Issues indexados: 153
Merge medio: 1 d 13 h
PR fusionados (30 d): 15

Lenguaje dominante: C++
Licencia: MIT
Último push a GitHub: 18/9/2026
Última indexación: 20/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

flm serve OpenAI-compatible endpoint hardcodes max_tokens default = 4096 → long responses are silently truncated (finish_reason: "length") when the client omits max_tokens Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

ROCm/FastFlowLM#749 · Abierto el 22/9/2026
[Bug, Issue]: ASR model (whisper-large-v3-turbo) not explicitly named in v1/models, so doesn't work with stricter openAI compatible connections Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

ROCm/FastFlowLM#746 · 1 comentario · Abierto el 19/9/2026
[Feature]: Add support for Cactus Compute Needle model Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#745 · Abierto el 18/9/2026
No valid checkpoint to restore + Max length reached on multi-turn tool calls (Qwen3.6-MoE, NPU) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

ROCm/FastFlowLM#744 · 2 comentarios · Abierto el 18/9/2026
Truncated tool call is emitted as a complete one (unterminated heredoc reaches the client) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

ROCm/FastFlowLM#741 · 1 comentario · Abierto el 18/9/2026
Non-streaming responses leak <think> tags into content for qwen3.5, qwen3.6-moe, qwen3vl and qwen3.5-omni Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 70/100

ROCm/FastFlowLM#739 · 1 comentario · Abierto el 18/9/2026
[Feature]: KV-cache reuse for shared-prefix one-shot requests (prefix caching / partial truncate) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#737 · Abierto el 17/9/2026
Prompt cache: identical resend never hits, partial match discards everything, and nothing is sent during prefill Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#733 · 2 comentarios · Abierto el 17/9/2026
v1.0.4 regression: embed-gemma:300m embeddings via --embed 1 are wrong (uncorrelated with v0.9.39 on identical weights) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

ROCm/FastFlowLM#732 · Abierto el 17/9/2026
[Feature/Model Request]: Support for NPU-accelerated Text-to-Speech (TTS) models Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

ROCm/FastFlowLM#731 · Abierto el 17/9/2026
[Documentation]: How to generate SRT/VTT transcripts Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

ROCm/FastFlowLM#726 · Abierto el 13/9/2026
[Issue]: [Bug][Linux] flm serve crash: C++ assertion failure '!this->empty()' in std::vector<logits_t>::back() Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ROCm/FastFlowLM#725 · Abierto el 12/9/2026
[Issue]: Gemma4 tool-call parsing produces wrong name and arguments (v1.0.5) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 66/100

ROCm/FastFlowLM#722 · 3 comentarios · Abierto el 10/9/2026
Flm with gemma 4 has very poor ability to call tools Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

ROCm/FastFlowLM#721 · 2 comentarios · 1 reacción · Abierto el 10/9/2026
Inconsistent memory consumption? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

ROCm/FastFlowLM#720 · Abierto el 10/9/2026
[Issue]: JSON literal data types instead of strings Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

ROCm/FastFlowLM#719 · Abierto el 10/9/2026
The directory for models is not configurable in the new MSI installer Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

ROCm/FastFlowLM#718 · Abierto el 10/9/2026
Server silently serves the resident model for unresolvable model tags, echoing the requested name Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 64/100

ROCm/FastFlowLM#716 · 1 comentario · Abierto el 9/9/2026
[Feature]: Support MiniCPM5-2B top-ranked open 2B model Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#715 · Abierto el 8/9/2026
Qwen3-8B on XDNA2 (Strix Halo): only ~10 tok/s decode + slow TTFT vs GPU - is this expected? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ROCm/FastFlowLM#713 · Abierto el 8/9/2026
[Model Support]: Unofficial MiniCPM5-2B Q4NX pack for XDNA 2 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

ROCm/FastFlowLM#712 · 11 comentarios · Abierto el 8/9/2026
[Feature]: Publish signed binaries Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

ROCm/FastFlowLM#711 · Abierto el 7/9/2026
Qwen3.6-35B-A3B Linux v1.0.4: ~2.7s fixed per-request TTFT = ~4,900 serialized per-expert NPU execs — validated coarsening fix (concatenated-expert GEMM) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#710 · 2 reacciones · Abierto el 6/9/2026
[Linux] Weight bos are MAP_LOCKED — models >~18GB cannot load on 22.6GB RAM machines and some request Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

ROCm/FastFlowLM#709 · Abierto el 5/9/2026
[Issue]: v1.0.4 causes NPU hardware crash (0xc00002b6) and Kernel Deadlock on AMD Ryzen AI (v1.0.3 works fine) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

ROCm/FastFlowLM#708 · 1 comentario · Abierto el 5/9/2026
[Feature]: Trivial/Low-Priority/Unimportant: F.L.M. Mel & Kim Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

ROCm/FastFlowLM#707 · 1 reacción · Abierto el 4/9/2026
[Issue]: Qwen3.5 / Qwen3.6 family fails to load on Strix Halo (Ryzen AI MAX+ 395, NPU2) — CREATE_HWCTX err=-22, while all other models work Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#705 · 3 comentarios · Abierto el 3/9/2026
Support request: Bielik-11B-v3.0-Instruct-heretic-MPOA on Ryzen AI NPU Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

ROCm/FastFlowLM#704 · Abierto el 3/9/2026
[Bug] Whisper transcription truncated after ~16 tokens (any clip with >~4s of continuous speech) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 74/100

ROCm/FastFlowLM#698 · 1 comentario · Abierto el 1/9/2026
[Issue]: Todos status argument missing in Tool calling Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

ROCm/FastFlowLM#697 · 2 comentarios · Abierto el 1/9/2026
[Feature]: Support for iFlytek's Newly Open-Sourced Edge-Side Models (Spark X2.5-4B & 1.7B) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#696 · 1 comentario · 1 reacción · Abierto el 1/9/2026
[Issue]: Whisper periodic forced timestamp sampling truncates Japanese sentence endings Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ROCm/FastFlowLM#694 · 1 comentario · Abierto el 31/8/2026
[Feature]: Qwen3.8-Flash-Next Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

ROCm/FastFlowLM#692 · 3 comentarios · 9 reacciones · Abierto el 28/8/2026
[Feature]: Model Request: JetBrains Mellum2‑12B‑A2.5B‑Thinking & Mellum2‑12B‑A2.5B‑Instruct (MoE) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

ROCm/FastFlowLM#691 · 3 reacciones · Abierto el 28/8/2026
[ Request/Plea ] Let the Open Source Community Support You Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

ROCm/FastFlowLM#690 · 38 comentarios · 7 reacciones · Abierto el 27/8/2026
v1.0.2 crashes (0xC0000005) loading qwen3.6-moe:35b-a3b weights downloaded with v0.9.45 — `flm pull` doesn't detect outdated weights Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ROCm/FastFlowLM#685 · 1 comentario · Abierto el 25/8/2026
gpt-oss:20b never emits tool_calls even with valid OpenAI-style tools schema + tool_choice:auto Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

ROCm/FastFlowLM#684 · 1 reacción · Abierto el 24/8/2026
[Model request]: Meta Muse Glimmer 30B Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#683 · 1 comentario · 1 reacción · Abierto el 24/8/2026
Server stops accepting connections after 10 client aborts — connection slot leak ("Connection limit reached (10)") Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

ROCm/FastFlowLM#680 · 1 comentario · 1 reacción · Abierto el 20/8/2026
FLM 1.0.2 on Linux: Qwen3.5 4B and 9B hang during prefill, while Llama 3.2 and Qwen3.6 work Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

ROCm/FastFlowLM#678 · 2 comentarios · 1 reacción · Abierto el 19/8/2026
Qwen3.6-35B-A3B emits garbage tokens and gpt-oss-20b crashes on Gorgon Point (Ryzen AI 9 HX 470); HRX source build crashes in qwen3_npu.dll Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#677 · 7 comentarios · 3 reacciones · Abierto el 19/8/2026
[Feature]: New Python wrapper Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#676 · 1 reacción · Abierto el 19/8/2026
[Feature]: Qwen3.8-27B please Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ROCm/FastFlowLM#673 · 4 comentarios · 12 reacciones · Abierto el 18/8/2026
/api/show returns stubs — populate model_info context_length + details so Ollama-compatible clients can auto-configure Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 74/100

ROCm/FastFlowLM#671 · 3 comentarios · 1 reacción · Abierto el 15/8/2026
flm-real segfaults on NPU firmware timeout when GPU is concurrently active via ROCm (Strix Halo) — companion to amd/xdna-driver#1605 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

ROCm/FastFlowLM#670 · 1 comentario · Abierto el 14/8/2026
[ GUIDE **WILL NEVER WORK ABOVE 1.0.1** ] - Converting and adding finetunes (unofficial but functional) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 38/100

ROCm/FastFlowLM#669 · 1 comentario · 1 reacción · Abierto el 14/8/2026
Apply a "chat" label to LLMs Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 52/100

ROCm/FastFlowLM#668 · Abierto el 13/8/2026
embed-gemma:300m returns a collapsed embedding space: deterministic, but unusable for retrieval (same model via llama.cpp is correct) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ROCm/FastFlowLM#661 · 13 comentarios · Abierto el 10/8/2026
IOCTL regression using ASR and embedding models simultaneously (Krackan Point) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

ROCm/FastFlowLM#655 · 7 comentarios · Abierto el 6/8/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

ROCm/FastFlowLM

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo