Owner

Neroued

登录后关注

已索引 1 个仓库 · 在 GitHub 查看

ninfer
High-performance single-GPU inference for selected model checkpoints and GPUs.

C++ · 3216 个 star

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

[Bug] Anthropic-style thinking={type:disabled} combined with output_config.effort is rejected with HTTP 400 "conflicting template option"
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 57/100

Neroued/ninfer#441 · 2026年11月5日创建

维护者通常 9 天内回复
[Bug] Qwen3.8 chat template only accepts xhigh/medium/low reasoning_effort — serve-layer 7-tier effort gets HTTP 400 "invalid prompt"
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 67/100

Neroued/ninfer#440 · 2026年11月5日创建

维护者通常 9 天内回复
Startup crash on RTX 5090D (sm_120a) at HEAD a754fcf3: decode_graph.cpp:19 CUDA_CHECK(cudaGraphAddChildGraphNode) failed: cudaErrorInvalidValue
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 18/100

Neroued/ninfer#439 · 2 条评论 · 2026年11月3日创建

维护者通常 9 天内回复
Support A100 gpus
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#438 · 2026年11月3日创建

维护者通常 9 天内回复
[Perf] NVFP4 Compact64-T6: reduce shared-memory wavefronts and investigate short-context decode consistency
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 8/100

Neroued/ninfer#437 · 2026年11月2日创建

维护者通常 9 天内回复
unsloth Dynamic V3.1 DS4.1 only needs 64G RAM
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 8/100

Neroued/ninfer#435 · 2026年11月1日创建

维护者通常 9 天内回复
[Bug] Requests stall and never make progress
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 12/100

Neroued/ninfer#434 · 6 条评论 · 1 个 reaction · 2026年10月31日创建

维护者通常 9 天内回复
[Feature] Qwen3.5-9B geometry support on master (verified implementation, branch available)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

Neroued/ninfer#433 · 2026年10月31日创建

维护者通常 9 天内回复
[Feature Request] Add a configurable GPU utilization ceiling to leave headroom for desktop/office use
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#431 · 2026年10月30日创建

维护者通常 9 天内回复
[Feature Request] Support nullable string parameters in strict tool calling (OpenAI compatibility)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

Neroued/ninfer#425 · 2026年10月26日创建

维护者通常 9 天内回复
serve prefill ~22% below CLI at identical engine config (RTX 5090, nvfp4)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 43/100

Neroued/ninfer#424 · 1 条评论 · 2026年10月26日创建

维护者通常 9 天内回复
Optional bounded idle keep-warm for interactive single-GPU serving
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#423 · 2026年10月25日创建

维护者通常 9 天内回复
KV history growth under-reserved when a replay write crosses a page boundary
未关闭
- 哪里不对？
难度 4/5 1-2 天新手友好度 54/100

Neroued/ninfer#419 · 2026年10月22日创建

维护者通常 9 天内回复
Anyone know if Ninfer rotates activations?
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 25/100

Neroued/ninfer#418 · 2 条评论 · 2026年10月22日创建

维护者通常 9 天内回复
Long image chats get stuck with 400 media_budget_exceeded — the server should drop the oldest images automatically
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

Neroued/ninfer#417 · 2026年10月22日创建

维护者通常 9 天内回复
Concurrent requests sharing a prefix crash the engine: “KV write exceeds its page reservation” (regression after 4de9e425)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

Neroued/ninfer#414 · 1 条评论 · 2026年10月21日创建

维护者通常 9 天内回复
Support EAGLE 4 Drafter
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

Neroued/ninfer#413 · 1 条评论 · 2026年10月21日创建

维护者通常 9 天内回复
Report whether the loaded template supports tool calls
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

Neroued/ninfer#400 · 2026年10月15日创建

维护者通常 9 天内回复
Grammar violation on one request kills the whole engine (`selected token violates the request grammar`) — 503 until process restart
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#399 · 2026年10月15日创建

维护者通常 9 天内回复
Context cache: once full, a plain multi-turn chat resumes only from the engine-discovered system prefix
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

Neroued/ninfer#394 · 1 条评论 · 2026年10月11日创建

维护者通常 9 天内回复
Host memory duplication after system suspend/resume (CUDA context re-initialization leaks pinned RAM)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

Neroued/ninfer#393 · 2026年10月10日创建

维护者通常 9 天内回复
Ninfer process crashes on the second GPU in multi-ninfer, multi-GPU setup
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

Neroued/ninfer#391 · 2 条评论 · 2026年10月10日创建

维护者通常 9 天内回复
Experimental DGX Spark / GB10 (sm_121a) build and inference support
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#390 · 2 条评论 · 2026年10月10日创建

维护者通常 9 天内回复
Host context arena: first-fit extents shared by three allocation sizes fragment — make it a block pool
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#379 · 2026年10月8日创建

维护者通常 9 天内回复
A complete tool call emitted inside an unclosed thinking span is never recovered
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

Neroued/ninfer#377 · 1 条评论 · 2026年10月7日创建

维护者通常 9 天内回复
KV precision tail (`--kv-tail-tokens`): port results and measured data (fork link, no code proposed)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 15/100

Neroued/ninfer#375 · 1 个 reaction · 2026年10月6日创建

维护者通常 9 天内回复
Fused residual rounding in NVFP4 A4 / FP8 A8 linear_add depends on tile occupancy (FullTokens contracts to an FMA, tails do not)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 43/100

Neroued/ninfer#374 · 2026年10月5日创建

维护者通常 9 天内回复
A cancelled follow-up discards the consumed continuation; a different follow-up (or an edited last message) re-prefills the whole conversation
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#371 · 2026年10月5日创建

维护者通常 9 天内回复
Performance: allow parallel CPU workers during weight conversion
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

Neroued/ninfer#370 · 2026年10月5日创建

维护者通常 9 天内回复
Nix Flake
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 45/100

Neroued/ninfer#367 · 2026年10月4日创建

维护者通常 9 天内回复
Opt-in active retrieval KV windows with Program-owned Host history
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 15/100

Neroued/ninfer#362 · 2026年10月3日创建

维护者通常 9 天内回复
Encoded DFlash2 component composition for compatible v3 artifacts
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

Neroued/ninfer#361 · 2026年10月3日创建

维护者通常 9 天内回复
Engine crash (0xC0000409 / 0xC0000005) in hybrid Host-tier restore path...
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

Neroued/ninfer#357 · 2026年10月2日创建

维护者通常 9 天内回复
NVFP4 tiled prefill under-occupies the device
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

Neroued/ninfer#356 · 2026年10月1日创建

维护者通常 9 天内回复
Proposal: L3 disk KV-cache tier for multi-turn serving (content-addressed pages, proactive per-turn checkpoints, seam anchors) - production-validated on RTX 5090
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 18/100

Neroued/ninfer#350 · 2026年10月1日创建

维护者通常 9 天内回复
OpenAI Codex CLI against `/v1/responses`: three hard rejections (`web_search` tool, `reasoning.summary`, `include`) — gateway workaround + feature request
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 52/100

Neroued/ninfer#348 · 2 条评论 · 2026年9月30日创建

维护者通常 9 天内回复
`serve` wedges with 503 for all requests after `Qwen3.5 resource subtraction underflow` (checked_resource_difference, context_work.cpp:222) under `--max-concurrency 2`
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

Neroued/ninfer#339 · 2026年9月30日创建

维护者通常 9 天内回复
Use Zluda for AMD GPUs
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 20/100

Neroued/ninfer#336 · 2026年9月30日创建

维护者通常 9 天内回复
cudaErrorLaunchTimeout crash during DFlash2 prefill immediately after ~98%-cache-replay prefill (RTX 5090)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

Neroued/ninfer#333 · 2026年9月29日创建

维护者通常 9 天内回复
Suggestion: Port the web panel from strata
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#331 · 2 条评论 · 2026年9月28日创建

维护者通常 9 天内回复
NVFP4 A16 sliced-K at T=3..16 is MIO-throttled on 70-SM GPUs: two schedule knobs give −8…−10 % on RTX 5070 Ti, bit-identical
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

Neroued/ninfer#330 · 2026年9月28日创建

维护者通常 9 天内回复
perf(ops): reciprocal-multiply in NVFP4 activation quantize on linear MMA route
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 38/100

Neroued/ninfer#327 · 2026年9月27日创建

维护者通常 9 天内回复
Proposal: Gemma 4 31B (dense) as a contributed second model family. Would you accept it, and on what terms?
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 20/100

Neroued/ninfer#326 · 2 条评论 · 2 个 reaction · 2026年9月27日创建

维护者通常 9 天内回复
v3 jinja chat template rejects 'tool' role messages, breaking OpenAI-compatible agents
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

Neroued/ninfer#325 · 2 条评论 · 1 个 reaction · 2026年9月26日创建

维护者通常 9 天内回复
Release log & version tagging
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

Neroued/ninfer#323 · 3 个 reaction · 2026年9月26日创建

维护者通常 9 天内回复
Fixes for prefix caching, tool calling and other issues
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 10/100

Neroued/ninfer#322 · 1 条评论 · 2 个 reaction · 2026年9月26日创建

维护者通常 9 天内回复
MCP tool calls are output as plain text; this involves the Hermes and Claude agent frameworks.
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

Neroued/ninfer#321 · 2026年9月26日创建

维护者通常 9 天内回复
Xid 79 "GPU has fallen off the bus" during prefill — `activate()` still publishes the KV block table on the legacy stream (8 occurrences in 4.2 days)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 25/100

Neroued/ninfer#320 · 3 条评论 · 2 个 reaction · 2026年9月26日创建

维护者通常 9 天内回复
Two-GPU tensor parallelism for 16 GB boards — would you consider it, or parts of it?
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 25/100

Neroued/ninfer#313 · 1 条评论 · 2026年9月24日创建

维护者通常 9 天内回复
Model request: ThinkingCap Qwen 3.8 27B
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 48/100

Neroued/ninfer#306 · 7 条评论 · 2026年9月23日创建

维护者通常 9 天内回复

Neroued

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

把新 issue 发到你的邮箱