Chủ sở hữu

LMCache

Đã lập chỉ mục 9 kho mã nguồn · Xem trên GitHub

LMCache
LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

Python · 11872 star
LMCache-Ascend
LMCache-Ascend is a plugin for running LMCache on the Ascend NPU.

Python · 89 star
lmcache-vllm
The driver for LMCache core to run in vLLM

Python · 69 star
LMBenchmark
Systematic and comprehensive benchmarks for LLM systems.

Python · 61 star
demo

Python · 33 star
lmcache_frontend
the frontend of lmcache

Python · 18 star
LMBench
Modular Serving Engine x Workload Generator Benchmarking Tool

Python · 11 star
lmcache-tests

Python · 10 star
torchac_cuda

Cuda · 5 star

Đang mở Tất cả

Reject empty slot_mapping input in parse_mixed_slot_mapping Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

LMCache/LMCache#5329 · Mở ngày 23/9/2026
[Documentation Request] vLLM kv_load_failure_policy doesn't apply to load failures in L2 adapters Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

LMCache/LMCache#5326 · Mở ngày 23/9/2026
[Bug][MP] nixl_store L2 adapter doesn't clear status bitmap when data failed to load Đang mở

bug

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

LMCache/LMCache#5325 · Mở ngày 23/9/2026
[good-first-issue] tests: bound and diagnose RESP connector waits Đang mở

good first issue help wanted onboarding-2026 Testing

LMCache/LMCache#5316 · 2 bình luận · 1 người được giao · Mở ngày 23/9/2026
[good-first-issue] tests: synchronize health-monitor fallback and recovery Đang mở

good first issue help wanted onboarding-2026 Testing

LMCache/LMCache#5315 · 2 bình luận · 1 người được giao · Mở ngày 23/9/2026
[good-first-issue] tests: wait for health-monitor exit instead of sleeping Đang mở

good first issue help wanted onboarding-2026 Testing

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

LMCache/LMCache#5314 · 1 bình luận · Mở ngày 23/9/2026
[good-first-issue] tests: stabilize flaky CI tests from recent PRs Đang mở

good first issue help wanted onboarding-2026 Testing

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

LMCache/LMCache#5313 · 1 bình luận · Mở ngày 23/9/2026
[Bug] Native connector batch completion publishes per-key results with no happens-before (TSan: 6 races) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

LMCache/LMCache#5296 · 1 bình luận · Mở ngày 22/9/2026
[MP] Model sparse presence domains across kernel groups Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5288 · Mở ngày 22/9/2026
MP client: unanswered STORE/RETRIEVE RPCs cause unbounded client-side memory leak after GPU context loss Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5270 · 2 bình luận · Mở ngày 20/9/2026
[Bug][MP] Stale CUDA IPC mappings block vLLM restart after an abnormal worker exit Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5265 · 4 bình luận · 2 reaction · Mở ngày 20/9/2026
[Bug] Shutdown and L1 TTL expiry can reclaim a buffer an L2 adapter is still loading into Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5263 · 1 bình luận · Mở ngày 19/9/2026
MP mode (LMCacheMPConnector) ignores save_decode_cache and stores decode KV, causing unbounded L1/L2 writes and premature eviction Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 56/100

LMCache/LMCache#5230 · 2 bình luận · Mở ngày 18/9/2026
[Feature][MP] Negotiate chunk_size from vLLM KV geometry at first registration Đang mở

enhancement mp_mode versioning / compatibility vllm

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5217 · Mở ngày 18/9/2026
[good-first-issue] lint: remove stale G004 ignores for clean connector adapters Đang mở

good first issue help wanted

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100

LMCache/LMCache#5205 · 2 bình luận · Mở ngày 18/9/2026
[good-first-issue] tests: convert disagg channel logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100

LMCache/LMCache#5203 · 2 bình luận · Mở ngày 18/9/2026
[good-first-issue] connectors: convert HF3FS adapter logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5200 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] connectors: convert backend connector logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5198 · 2 bình luận · Mở ngày 18/9/2026
[good-first-issue] connectors: convert common connector logging to %-format Đang mở

good first issue help wanted

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 82/100

LMCache/LMCache#5197 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] storage: convert NIXL backend logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5196 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] compute: convert blend and model logging to %-format Đang mở

good first issue help wanted

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 82/100

LMCache/LMCache#5192 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] compute: convert attention logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100

LMCache/LMCache#5191 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] v1: convert config and cache-engine logging to %-format Đang mở

good first issue help wanted

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 86/100

LMCache/LMCache#5190 · 3 bình luận · Mở ngày 18/9/2026
[good-first-issue] v1: convert cache-controller logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100

LMCache/LMCache#5189 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] v1: convert API and server entrypoint logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100

LMCache/LMCache#5188 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] logging: convert top-level LMCache utility logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100

LMCache/LMCache#5187 · 3 bình luận · Mở ngày 18/9/2026
[good-first-issue] examples: convert token_dropping experiment logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100

LMCache/LMCache#5185 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] examples: convert token_dropping notebook logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 88/100

LMCache/LMCache#5184 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] examples: convert disagg_prefill logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5182 · 1 bình luận · Mở ngày 18/9/2026
[good-first-issue] benchmarks: convert storage_backend_io logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100

LMCache/LMCache#5181 · 3 bình luận · Mở ngày 18/9/2026
[good-first-issue] benchmarks: convert multi_round_qa logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5179 · 2 bình luận · Mở ngày 18/9/2026
[good-first-issue] buildkite: convert async_request logging to %-format Đang mở

good first issue help wanted

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5178 · 3 bình luận · Mở ngày 18/9/2026
[MP] [Bug] Isolated IPC: KV re-registration after a server restart fails with CUDA_ERROR_INVALID_CONTEXT Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 76/100

LMCache/LMCache#5168 · 1 bình luận · Mở ngày 17/9/2026
[Feature] Provide a Kubernetes probe for end-to-end MP server and worker health Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5164 · Mở ngày 17/9/2026
[Bug] flaky test: test_sparse_skip_l2_locks_only_l1 Đang mở

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 72/100

LMCache/LMCache#5135 · Mở ngày 16/9/2026
[Proposal] Enforce lazy %-format logging (ruff G004) so the f-string logging migration stops regressing Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5118 · 5 bình luận · Mở ngày 15/9/2026
logging: convert f-string log calls in azure_adapter.py and audit_adapter.py to %-format Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100

LMCache/LMCache#5112 · 1 bình luận · Mở ngày 14/9/2026
logging: convert f-string log calls in eic_adapter.py and s3_adapter.py to %-format Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 94/100

LMCache/LMCache#5110 · 1 bình luận · Mở ngày 14/9/2026
logging: convert f-string log calls in 3 small modules to %-format Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

LMCache/LMCache#5106 · 1 bình luận · Mở ngày 14/9/2026
[Question] MP mode + `--engine-type blend`: is there a client-side (vLLM) counterpart that sends CB_REGISTER_ROPE_V3? Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

LMCache/LMCache#5101 · Mở ngày 14/9/2026
LMCache MP 0.5.5 with GLM-5.3-Flash fails on non-contiguous tensor or no IPC lookup key Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

LMCache/LMCache#5097 · Mở ngày 13/9/2026
Every cache hit logs "Double unpin occurred somewhere" (pin count driven to -1) Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

LMCache/LMCache#5090 · Mở ngày 13/9/2026
[RFC][MP][Coordinator] L1 cache moves Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5083 · Mở ngày 12/9/2026
[Feature][MP] Commit windowed KV to L2 on turn boundaries Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5073 · 3 bình luận · Mở ngày 11/9/2026
from_gpu() skips the stream sync when the destination buffer is CUDA, so PD senders with pd_buffer_device: "cuda" can RDMA a half-written KV chunk Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

LMCache/LMCache#5048 · Mở ngày 9/9/2026
[Bug][MP] Failed prefetch cleanup can publish invalid L1 data Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100

LMCache/LMCache#5032 · Mở ngày 8/9/2026
[RFC] Shared Device-DAX KV pooling for LMCache MP servers Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 32/100

LMCache/LMCache#5030 · 1 bình luận · 3 reaction · Mở ngày 8/9/2026
[BUG][TURBOQUANT] FP9 key store kernel fails on A100 (SM80) with bfloat16 models — Triton assertion error in `convert_custom_float8` Đang mở

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 76/100

LMCache/LMCache#5022 · Mở ngày 8/9/2026
[RFC] Add Rust raw-block I/O performance and observability metrics Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

LMCache/LMCache#5016 · 6 bình luận · Mở ngày 8/9/2026
[Bug][Async Loading] Aborted lookup cleanup depends on a future unrelated lookup Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 45/100

LMCache/LMCache#5006 · Mở ngày 7/9/2026

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

LMCache

Đang hiển thị 100 mục mới nhất

Nhận issue mới trong hộp thư của bạn