Owner

ddalcu

登录后关注

已索引 1 个仓库 · 在 GitHub 查看

mlx-serve
Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with c...

Zig · 1829 个 star

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

Implicit model switch refuses an idle resident model ("none evictable"): planEvictionsLocked credits only the victim's weights, not its prefix cache/KV
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 45/100

ddalcu/mlx-serve#927 · 2026年10月20日创建

维护者通常 1 天内回复
Mac app: provider/LAN chat preloads unrelated local model and displays local load progress
未关闭
- 哪里不对？
bug UI

难度 5/5 一周以上新手友好度 1/100

ddalcu/mlx-serve#925 · 2026年10月20日创建

维护者通常 1 天内回复
Allow Remote Clients to set Lora paths
未关闭
- 哪里不对？
engine enhancement security

难度 4/5 3-5 天新手友好度 43/100

ddalcu/mlx-serve#924 · 1 条评论 · 2026年10月20日创建

维护者通常 1 天内回复
Improve visual alignment in left bar
未关闭
- 哪里不对？
enhancement UI

难度 2/5 1-3 小时新手友好度 68/100

ddalcu/mlx-serve#922 · 2026年10月20日创建

维护者通常 1 天内回复
CPU-only Linux build so mlx-serve can enroll in Anthropic's OSS Scanner
未关闭
- 哪里不对？
engine enhancement

难度 4/5 3-5 天新手友好度 42/100

ddalcu/mlx-serve#920 · 2026年10月20日创建

维护者通常 1 天内回复
[Bug] Background model loading may continue after shutdown and crash macOS
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 42/100

ddalcu/mlx-serve#914 · 2026年10月19日创建

维护者通常 1 天内回复
Name the GGUF in the "SSD weight streaming" explainer
未关闭
- 哪里不对？
bug documentation UI

难度 1/5 1-3 小时新手友好度 88/100

ddalcu/mlx-serve#913 · 2026年10月19日创建

维护者通常 1 天内回复
Regression in 26.10.2 handling requests from Crush
未关闭
- 哪里不对？
bug engine

难度 4/5 1-2 天新手友好度 55/100

ddalcu/mlx-serve#912 · 2026年10月18日创建

维护者通常 1 天内回复
Qwen3-Embedding: /v1/embeddings appends <|im_end|> (151645, config eos) instead of <|endoftext|> (151643) → vectors diverge from reference (cos ≈ 0.55)
未关闭
- 哪里不对？
bug engine model-support

难度 4/5 1-2 天新手友好度 55/100

ddalcu/mlx-serve#909 · 2026年10月18日创建

维护者通常 1 天内回复
DeepSeek-V4.1 Flash: prefill ~360-490 t/s on an M5 Ultra
未关闭
- 哪里不对？
engine performance

难度 5/5 一周以上新手友好度 35/100

ddalcu/mlx-serve#904 · 1 条评论 · 2026年10月18日创建

维护者通常 1 天内回复
Nemotron 3.5 Super NVFP4 (modelopt_mixed) doesn't load; notes for a modelopt_pack port
未关闭
- 哪里不对？
engine enhancement model-support

难度 5/5 一周以上新手友好度 35/100

ddalcu/mlx-serve#902 · 1 条评论 · 2026年10月18日创建

维护者通常 1 天内回复
Mac app as a thin client: use another Mac's models over Tailscale, including voice and music
未关闭
- 哪里不对？
enhancement UI

难度 5/5 一周以上新手友好度 28/100

ddalcu/mlx-serve#888 · 2026年10月17日创建

维护者通常 1 天内回复
Web console: API key gate submits with GET, so the key stays in the URL
未关闭
- 哪里不对？
bug engine UI

难度 2/5 1-3 小时新手友好度 67/100

ddalcu/mlx-serve#887 · 2026年10月17日创建

维护者通常 1 天内回复
README comparison is incomplete and partly outdated: add oMLX, correct competitor features, qualify benchmarks
未关闭
- 哪里不对？
documentation

难度 4/5 3-5 天新手友好度 45/100

ddalcu/mlx-serve#886 · 1 条评论 · 2026年10月17日创建

维护者通常 1 天内回复
Add Breeze-TTS-2 support (breeze_tts media backend)
未关闭
- 哪里不对？
engine enhancement model-support

难度 5/5 一周以上新手友好度 12/100

ddalcu/mlx-serve#857 · 2026年10月14日创建

维护者通常 1 天内回复
Qwen3.8-27B packs: at 128K the default DFlash2 drafter is slower than plain decode; --no-drafter (MTP only) is fastest
未关闭
- 哪里不对？
engine performance

难度 4/5 3-5 天新手友好度 25/100

ddalcu/mlx-serve#853 · 1 条评论 · 2026年10月14日创建

维护者通常 1 天内回复
MTP sidecar fails to load for Ornith-1.5-35B-A3B REAP (MoE MTP layer) — MissingMtpWeight: mtp.layers.0.mlp.gate_proj.weight
未关闭
- 哪里不对？
bug engine model-support

难度 4/5 3-5 天新手友好度 22/100

ddalcu/mlx-serve#848 · 1 条评论 · 2026年10月14日创建

维护者通常 1 天内回复
Near-repeat tier misses a restatement loop with a fixed head and a reworded tail (novelty 0.376 vs 0.10) — 7,005 tokens, no `[loop-stop]`
未关闭
- 哪里不对？
bug engine

难度 5/5 一周以上新手友好度 12/100

ddalcu/mlx-serve#846 · 2026年10月14日创建

维护者通常 1 天内回复
Disk-only prefix cache: a warm turn is refused by the connection-side cold bill before the SSD lookup
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 20/100

ddalcu/mlx-serve#844 · 2026年10月14日创建

维护者通常 1 天内回复
Sushi 3bpw does not fit a stock 64 GB Mac
未关闭
- 哪里不对？
bug model-support UI

难度 3/5 1-2 天新手友好度 40/100

ddalcu/mlx-serve#843 · 1 条评论 · 2026年10月13日创建

维护者通常 1 天内回复
YuE2: expose stage controls on /v1/audio/music-generations (stop_after, export_semantic, semantic_prefix)
未关闭
- 哪里不对？
engine enhancement

难度 4/5 3-5 天新手友好度 25/100

ddalcu/mlx-serve#842 · 2026年10月13日创建

维护者通常 1 天内回复
Clip attach does not support adding a .txt file
未关闭
- 哪里不对？
enhancement UI

难度 3/5 1-2 天新手友好度 50/100

ddalcu/mlx-serve#841 · 2026年10月13日创建

维护者通常 1 天内回复
Crash (SIGABRT): "pointer being freed was not allocated" in handleStreamingGeneration during long Cline session
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 43/100

ddalcu/mlx-serve#830 · 2 条评论 · 2026年10月12日创建

维护者通常 1 天内回复
Proxy settings for container (websearch + OS tools)
未关闭
- 哪里不对？
enhancement UI

难度 4/5 3-5 天新手友好度 45/100

ddalcu/mlx-serve#826 · 2026年10月12日创建

维护者通常 1 天内回复
[Feature Request] Load FastVideo FastH3-8-Step-V2 MLX INT8 checkpoint (__adaln_cache lookup tables + VSA to_gate_compress)
未关闭
- 哪里不对？
engine enhancement model-support

难度 5/5 一周以上新手友好度 25/100

ddalcu/mlx-serve#825 · 2026年10月12日创建

维护者通常 1 天内回复
DeepSeek V4 GGUF: embedded ds4 prematurely stops multi-step Pi tool loops; standalone ds4 continues
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 48/100

ddalcu/mlx-serve#816 · 2026年10月11日创建

维护者通常 1 天内回复
End-of-turn token leaks into content with enable_thinking + tools, suppressing the tool call (qwen4_exp)
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 18/100

ddalcu/mlx-serve#789 · 2 条评论 · 2026年10月9日创建

维护者通常 1 天内回复
MTP drafting for Sushi's GLM-5.3-Flash pack
未关闭
- 哪里不对？
engine enhancement performance

难度 4/5 3-5 天新手友好度 25/100

ddalcu/mlx-serve#780 · 2026年10月9日创建

维护者通常 1 天内回复
Model support request: Z-Image Turbo (Tongyi-MAI/Z-Image-Turbo)
未关闭
- 哪里不对？
engine enhancement model-support

难度 5/5 一周以上新手友好度 12/100

ddalcu/mlx-serve#763 · 2026年10月7日创建

维护者通常 1 天内回复
Splash Support?
未关闭
- 哪里不对？
engine enhancement performance

难度 5/5 一周以上新手友好度 10/100

ddalcu/mlx-serve#762 · 1 条评论 · 2026年10月7日创建

维护者通常 1 天内回复
[Bug] Vision regression in 26.10.1: gemma-4 VisionEncodeFailed, Qwen3.5-VL prefill MlxFailure (26.9.5/26.9.6 worked)
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 22/100

ddalcu/mlx-serve#753 · 2 条评论 · 2026年10月6日创建

维护者通常 1 天内回复
Web UI access to MLX Serve's connected tools, MCPs, and agents
未关闭
- 哪里不对？
enhancement UI

难度 5/5 一周以上新手友好度 12/100

ddalcu/mlx-serve#733 · 2026年10月5日创建

维护者通常 1 天内回复
Feature request: per-layer routed expert counts (non-uniform expert pruning)
未关闭
- 哪里不对？
engine enhancement model-support

难度 5/5 一周以上新手友好度 15/100

ddalcu/mlx-serve#726 · 2026年10月4日创建

维护者通常 1 天内回复
Qwen 3.8 Flash Next: corrupted hot-cache restore — model reads a German prompt as Chinese, persists until restart
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 15/100

ddalcu/mlx-serve#706 · 2 条评论 · 2026年10月2日创建

维护者通常 1 天内回复
iOS "Network models" cannot connect to a server reached through Tailscale Serve (`--set-path`); only a raw `host:port` open to the whole LAN works
未关闭
- 哪里不对？
bug UI

难度 3/5 1-2 天新手友好度 55/100

ddalcu/mlx-serve#698 · 2026年10月2日创建

维护者通常 1 天内回复
Support North Mini Code 1.0 as MLX
可能重新可做关联的 PR 已关闭且未合并。未关闭
- 哪里不对？
engine enhancement model-support

难度 4/5 3-5 天新手友好度 35/100

ddalcu/mlx-serve#694 · 2 个 reaction · 2026年10月2日创建

维护者通常 1 天内回复
Little improvements for the Benchmark History
未关闭
- 哪里不对？
enhancement UI

难度 3/5 1-2 天新手友好度 45/100

ddalcu/mlx-serve#688 · 2 条评论 · 2026年10月2日创建

维护者通常 1 天内回复
gather_qmm_nax: segmented NAX sorted gather differs from stock at 33010 rows (n=64, k=128) on M5 Max
未关闭
- 哪里不对？
bug engine

难度 4/5 3-5 天新手友好度 20/100

ddalcu/mlx-serve#649 · 1 条评论 · 2026年9月30日创建

维护者通常 1 天内回复
Resume after macOS sleep cold-prefills: RAM KV bytes survive, Metal binding does not come back
未关闭
- 哪里不对？
bug engine performance

难度 5/5 一周以上新手友好度 18/100

ddalcu/mlx-serve#622 · 2026年9月29日创建

维护者通常 1 天内回复
MLX Core: macOS 27 glass UI, chat spacing/fonts/export, tray widgets, server-side tools
未关闭
- 哪里不对？
enhancement UI

难度 5/5 一周以上新手友好度 6/100

ddalcu/mlx-serve#617 · 1 条评论 · 1 个 reaction · 2026年9月28日创建

维护者通常 1 天内回复
Distributed inference across Macs: taking the TODO item, phase 1 proposal
未关闭
- 哪里不对？
engine enhancement

难度 5/5 一周以上新手友好度 22/100

ddalcu/mlx-serve#544 · 4 条评论 · 2026年9月25日创建

维护者通常 1 天内回复
Remote clients: expose settings over HTTP and ship an OpenAPI spec (route map from 26.9.4)
未关闭
- 哪里不对？
engine enhancement

难度 5/5 一周以上新手友好度 20/100

ddalcu/mlx-serve#470 · 5 条评论 · 2026年9月19日创建

维护者通常 1 天内回复
If server is not running when starting a media generation, do not load chat model
未关闭
- 哪里不对？
enhancement UI

难度 4/5 3-5 天新手友好度 30/100

ddalcu/mlx-serve#452 · 2026年9月17日创建

维护者通常 1 天内回复
Kokoro French pronunciation
未关闭
- 哪里不对？
engine enhancement

难度 3/5 1-2 天新手友好度 35/100

ddalcu/mlx-serve#418 · 2026年9月13日创建

维护者通常 1 天内回复
Compress the disk-cache checkpoint files; measured 59.0 MB → 47.9 MB (81.2%)
未关闭
- 哪里不对？
engine enhancement performance

难度 3/5 1-2 天新手友好度 50/100

ddalcu/mlx-serve#416 · 1 条评论 · 2026年9月13日创建

维护者通常 1 天内回复
Convert existing KV cache to a lower bit width in place
未关闭
- 哪里不对？
engine enhancement

难度 4/5 3-5 天新手友好度 35/100

ddalcu/mlx-serve#413 · 2026年9月12日创建

维护者通常 1 天内回复
Add standalone Qwen3.8/Qwen4 MTP sidecar loading
可能重新可做关联的 PR 已关闭且未合并。未关闭
- 哪里不对？
engine enhancement

难度 4/5 3-5 天新手友好度 25/100

ddalcu/mlx-serve#338 · 2 条评论 · 2026年9月2日创建

维护者通常 1 天内回复
H3: is there a supported way to chain windows with REF2VA references? (chained windows + ref_images are mutually exclusive)
未关闭
- 哪里不对？
engine enhancement help wanted

难度 5/5 一周以上新手友好度 18/100

ddalcu/mlx-serve#316 · 4 条评论 · 2026年8月30日创建

维护者通常 1 天内回复
Fix MCP Tool responses containing Image results
未关闭
- 哪里不对？
bug UI

难度 4/5 3-5 天新手友好度 15/100

ddalcu/mlx-serve#309 · 3 条评论 · 2026年8月29日创建

维护者通常 1 天内回复
[Feature Request] MLX Core: Auto-restart the server after an unexpected crash (with backoff)
可能重新可做关联的 PR 已关闭且未合并。未关闭
- 哪里不对？
enhancement help wanted UI

难度 4/5 3-5 天新手友好度 35/100

ddalcu/mlx-serve#265 · 3 条评论 · 2026年8月23日创建

维护者通常 1 天内回复

ddalcu

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

把新 issue 发到你的邮箱