Owner

inference-sim

登入後關注

已索引 1 個儲存庫 · 在 GitHub 檢視

inference-sim
Inference Platform Simulation

Go · 40 個 star

適合新手全部

未關閉全部

可能已有人在做的 issue 排在最後。全部依時間排序

Queue requests for the render thread by the tokenizer's time, not the whole admission overhead
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 68/100

inference-sim/inference-sim#2112 · 2026年11月12日建立

維護者通常 1 天內回覆
Result carries interactivity_of_mean_tpot
未關閉
- 哪裡不對？
難度 2/5 1-3 小時新手友好度 76/100

inference-sim/inference-sim#2110 · 2026年11月12日建立

維護者通常 1 天內回覆
Tier-copy links share capacity with P/D pulls (SIM-13)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 45/100

inference-sim/inference-sim#2108 · 2026年11月12日建立

維護者通常 1 天內回覆
Behavioural test cleanup
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

inference-sim/inference-sim#2107 · 2026年11月11日建立

維護者通常 1 天內回覆
Add inference-sim metrics: print the metric registry with scope and aggregate (DEV-8)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2102 · 2026年11月10日建立

維護者通常 1 天內回覆
Add inference-sim ledger: print the published fit, anchor and report lists and the unit list offline (D7, COV-2)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 54/100

inference-sim/inference-sim#2101 · 2026年11月10日建立

維護者通常 1 天內回覆
Add inference-sim fields: print the registered engine's own field list (X19, SUB-1)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2100 · 2026年11月10日建立

維護者通常 1 天內回覆
Judge the named-stream change on held-out data through the released scoring harness (DEV-6, X13)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 5/100

inference-sim/inference-sim#2095 · 2026年11月9日建立

維護者通常 1 天內回覆
Systematic Latency Under-Pricing
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

inference-sim/inference-sim#2094 · 1 則留言 · 2026年11月9日建立

維護者通常 1 天內回覆
Write the request and session state machine: intermediate P/D states, and register every planned session round (SIM-8)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 8/100

inference-sim/inference-sim#2093 · 2026年11月9日建立

維護者通常 1 天內回覆
Process each instant in the three phases of design §8.2 (DEV-2)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 15/100

inference-sim/inference-sim#2092 · 2026年11月9日建立

維護者通常 1 天內回覆
Clear the documentation references and version literals the shared check reports, so the check can be required (X23, X26)
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

inference-sim/inference-sim#2091 · 1 則留言 · 2026年11月9日建立

維護者通常 1 天內回覆
Forward the engine's LoRA, extra-key, cache-salt and group identity to the router in KV events
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 43/100

inference-sim/inference-sim#2089 · 2026年11月8日建立

維護者通常 1 天內回覆
RFC: Simulate peer KV-cache reuse in BLIS
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 15/100

inference-sim/inference-sim#2088 · 1 則留言 · 2026年11月6日建立

維護者通常 1 天內回覆
Emit per-instance measured-window metrics in engine.instances (today they are whole-run only)
未關閉
- 哪裡不對？
enhancement

難度 4/5 3-5 天新手友好度 53/100

inference-sim/inference-sim#2087 · 2026年11月6日建立

維護者通常 1 天內回覆
AgentX corpus cache is keyed on the binary's SHA-256, so every new build/pod re-parses the corpus
未關閉
- 哪裡不對？
performance

難度 2/5 1-3 小時新手友好度 78/100

inference-sim/inference-sim#2086 · 2026年11月6日建立

維護者通常 1 天內回覆
Feature: report how busy each GPU is in the simulation results
未關閉
- 哪裡不對？
enhancement

難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2081 · 2026年11月6日建立

維護者通常 1 天內回覆
Record whether a run's speculative acceptance was measured or borrowed
未關閉
- 哪裡不對？
enhancement

難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2079 · 1 則留言 · 2026年11月5日建立

維護者通常 1 天內回覆
Remove fused multiply-adds from output paths (X6)
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 55/100

inference-sim/inference-sim#2078 · 2026年11月5日建立

維護者通常 1 天內回覆
Simulate Certus: a vLLM-connected KV offload service
未關閉
- 哪裡不對？
cross-repo enhancement

難度 5/5 一週以上新手友好度 35/100

inference-sim/inference-sim#2074 · 2026年11月4日建立

維護者通常 1 天內回覆
Result: fill the engine section from engine.Engine.Metrics, and reference the server series instead of inlining it
未關閉
- 哪裡不對？
area/config-schema hardening

難度 5/5 一週以上新手友好度 30/100

inference-sim/inference-sim#2070 · 2026年11月4日建立

維護者通常 1 天內回覆
Bug: Nemotron can't run on engine 0.32.0
未關閉
- 哪裡不對？
bug

難度 5/5 一週以上新手友好度 12/100

inference-sim/inference-sim#2066 · 1 則留言 · 2026年11月3日建立

維護者通常 1 天內回覆
Autoscaler: make the analyzer selectable, and add a threshold (target-value) analyzer
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 35/100

inference-sim/inference-sim#2063 · 2026年11月2日建立

維護者通常 1 天內回覆
Result: record output-only flags that change the document, and give closed-loop follow-ups a field
未關閉
- 哪裡不對？
hardening

難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2062 · 2026年10月30日建立

維護者通常 1 天內回覆
Carry request priority across the engine contract for 0.32.0
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 35/100

inference-sim/inference-sim#2052 · 2026年10月28日建立

維護者通常 1 天內回覆
llm-d-router fork: CI never ran on fork PR #3; flow-control processor waits without parking
未關閉
- 哪裡不對？
area/llm-d-parity determinism hardening

難度 5/5 一週以上新手友好度 25/100

inference-sim/inference-sim#2043 · 2026年10月27日建立

維護者通常 1 天內回覆
23 Go files on main are not gofmt-clean, and CI does not check formatting
未關閉
- 哪裡不對？
area/code-hygiene hardening

難度 2/5 1-3 小時新手友好度 78/100

inference-sim/inference-sim#2042 · 2026年10月27日建立

維護者通常 1 天內回覆
vLLM options not in v0.32.0 but on vLLM main: trtllm_ragged_backend cute-dsl and decode_backend latency_specialized
未關閉
- 哪裡不對？
area/vllm-parity upstream after 0.32.0

難度 4/5 3-5 天新手友好度 35/100

inference-sim/inference-sim#2039 · 2026年10月25日建立

維護者通常 1 天內回覆
Remove the remaining engine-knob CLI flags: the scenario is the only source (#2021 B6)
未關閉
- 哪裡不對？
hardening

難度 5/5 一週以上新手友好度 25/100

inference-sim/inference-sim#2037 · 3 則留言 · 2026年10月25日建立

維護者通常 1 天內回覆
Apply vLLM's stream_interval to client-side token delivery
未關閉
- 哪裡不對？
area/vllm-parity enhancement

難度 4/5 3-5 天新手友好度 52/100

inference-sim/inference-sim#2035 · 2026年10月24日建立

維護者通常 1 天內回覆
Prefix-cache block hash: add vLLM's multimodal extra keys (after LoRA and cache salt)
未關閉
- 哪裡不對？
area/kv-cache area/vllm-parity enhancement

難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2031 · 2026年10月24日建立

維護者通常 1 天內回覆
deliver-issue-refinements.sh hangs on macOS bash 3.2 for a large digest (whitespace check is superlinear)
未關閉
- 哪裡不對？
area/ci-tooling bug

難度 2/5 1-3 小時新手友好度 78/100

inference-sim/inference-sim#2029 · 1 則留言 · 2026年10月24日建立

維護者通常 1 天內回覆
Cover the Dynamo and vLLM routers InferenceX uses (inference-sim embeds only the llm-d router)
未關閉
- 哪裡不對？
area/llm-d-parity design enhancement

難度 5/5 一週以上新手友好度 35/100

inference-sim/inference-sim#2028 · 2026年10月24日建立

維護者通常 1 天內回覆
Re-baseline scenarios to vLLM 0.32.0 and remove blis-vllm's 0.29/0.31 compatibility behaviour
未關閉
- 哪裡不對？
area/vllm-parity cross-repo design

難度 5/5 一週以上新手友好度 25/100

inference-sim/inference-sim#2027 · 10 則留言 · 2026年10月24日建立

維護者通常 1 天內回覆
vLLM settings InferenceX runs use that exist only in custom images, not in v0.32.0
未關閉
- 哪裡不對？
area/vllm-parity custom-image only

難度 3/5 1-2 天新手友好度 48/100

inference-sim/inference-sim#2026 · 2 則留言 · 2026年10月24日建立

維護者通常 1 天內回覆
vLLM option not in v0.32.0: --monokernel (KernelConfig.monokernel), used by an InferenceX ROCm nightly run
未關閉
- 哪裡不對？
area/vllm-parity upstream after 0.32.0

難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#2025 · 2026年10月24日建立

維護者通常 1 天內回覆
Model separate prefill and decode workers on one GPU node
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 39/100

inference-sim/inference-sim#2017 · 1 則留言 · 2026年10月23日建立

維護者通常 1 天內回覆
InferenceModelRewrite silently serves unknown/full-model targets with base-model physics
未關閉
- 哪裡不對？
難度 4/5 1-2 天新手友好度 48/100

inference-sim/inference-sim#2008 · 2026年10月21日建立

維護者通常 1 天內回覆
Prometheus renderer reuses stale engine state after same-timestamp eviction
未關閉
- 哪裡不對？
area/llm-d-parity area/metrics-invariants bug

難度 3/5 1-2 天新手友好度 73/100

inference-sim/inference-sim#2003 · 2026年10月21日建立

維護者通常 1 天內回覆
P/D pools ignore per-pool data-parallel load-balancing mode
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#1988 · 2026年10月20日建立

維護者通常 1 天內回覆
Remove or replace the vendored third-party AgentX trace slice
未關閉
- 哪裡不對？
難度 4/5 1-2 天新手友好度 48/100

inference-sim/inference-sim#1989 · 2026年10月20日建立

維護者通常 1 天內回覆
Replay YAML silently ignores unknown fields
未關閉
- 哪裡不對？
難度 3/5 1-2 天新手友好度 65/100

inference-sim/inference-sim#1990 · 2026年10月20日建立

維護者通常 1 天內回覆
llm-d router: model vLLM's native disk-offload KV tier (medium storage)
未關閉
- 哪裡不對？
area/llm-d-parity enhancement

難度 4/5 3-5 天新手友好度 42/100

inference-sim/inference-sim#1981 · 2026年10月19日建立

維護者通常 1 天內回覆
KV tiering: CPU + NVMe (fs) under-predicts the NVMe benefit at large working sets, and vLLM's p2p secondary tier is refused
可能重新可做 @rayhanmemon 於 9 天前認領，目前沒有進行中的 PR。未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 25/100

inference-sim/inference-sim#1974 · 2 則留言 · 2026年10月18日建立

維護者通常 1 天內回覆
Emit vLLM's per-engine server time series and per-request cached-token / queue events
未關閉
- 哪裡不對？
難度 5/5 一週以上新手友好度 38/100

inference-sim/inference-sim#1973 · 2026年10月18日建立

維護者通常 1 天內回覆
InferenceX scorer: KV pool compared in the wrong unit for multi-group caches (DeepSeek-V4-Pro "27x"), and client-limited c512 runs cannot be replayed
未關閉
- 哪裡不對？
難度 4/5 3-5 天新手友好度 48/100

inference-sim/inference-sim#1969 · 2026年10月18日建立

維護者通常 1 天內回覆
llm-d router: topology-aware P/D (host/rack/zone identity)
未關閉
- 哪裡不對？
area/llm-d-parity enhancement

難度 5/5 一週以上新手友好度 12/100

inference-sim/inference-sim#1962 · 5 則留言 · 2026年10月16日建立

維護者通常 1 天內回覆
llm-d router: simulator-backed predicted latency (PredictorInterface)
未關閉
- 哪裡不對？
area/llm-d-parity enhancement

難度 5/5 一週以上新手友好度 8/100

inference-sim/inference-sim#1961 · 1 則留言 · 2026年10月16日建立

維護者通常 1 天內回覆
llm-d router: session affinity (session_id and encoded_endpoint_header)
未關閉
- 哪裡不對？
area/llm-d-parity enhancement

難度 4/5 3-5 天新手友好度 22/100

inference-sim/inference-sim#1960 · 1 則留言 · 2026年10月16日建立

維護者通常 1 天內回覆
llm-d router: conditional decode (Prefer: if-available -> 412)
未關閉
- 哪裡不對？
area/llm-d-parity enhancement

難度 5/5 一週以上新手友好度 12/100

inference-sim/inference-sim#1959 · 1 則留言 · 2026年10月16日建立

維護者通常 1 天內回覆

只顯示最新的 100 筆

這個頁面只列出最近收錄的部分。完整清單在進階篩選裡，可以依語言、難度和預計耗時篩選。

前往進階篩選

inference-sim

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

哪裡不對？

只顯示最新的 100 筆

把新 issue 寄到你的電子郵件信箱