Propietario

LMCache

9 repositorios indexados · Ver en GitHub

LMCache
LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

Python · 11872 estrellas
LMCache-Ascend
LMCache-Ascend is a plugin for running LMCache on the Ascend NPU.

Python · 89 estrellas
lmcache-vllm
The driver for LMCache core to run in vLLM

Python · 69 estrellas
LMBenchmark
Systematic and comprehensive benchmarks for LLM systems.

Python · 61 estrellas
demo

Python · 33 estrellas
lmcache_frontend
the frontend of lmcache

Python · 18 estrellas
LMBench
Modular Serving Engine x Workload Generator Benchmarking Tool

Python · 11 estrellas
lmcache-tests

Python · 10 estrellas
torchac_cuda

Cuda · 5 estrellas

Para principiantes Todo

Abierto Todos

Reject empty slot_mapping input in parse_mixed_slot_mapping Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100

LMCache/LMCache#5329 · Abierto el 23/9/2026
[Documentation Request] vLLM kv_load_failure_policy doesn't apply to load failures in L2 adapters Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100

LMCache/LMCache#5326 · Abierto el 23/9/2026
[Bug][MP] nixl_store L2 adapter doesn't clear status bitmap when data failed to load Abierto

bug

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

LMCache/LMCache#5325 · Abierto el 23/9/2026
[good-first-issue] tests: bound and diagnose RESP connector waits Abierto

good first issue help wanted onboarding-2026 Testing

LMCache/LMCache#5316 · 2 comentarios · 1 asignado · Abierto el 23/9/2026
[good-first-issue] tests: synchronize health-monitor fallback and recovery Abierto

good first issue help wanted onboarding-2026 Testing

LMCache/LMCache#5315 · 2 comentarios · 1 asignado · Abierto el 23/9/2026
[good-first-issue] tests: wait for health-monitor exit instead of sleeping Abierto

good first issue help wanted onboarding-2026 Testing

Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100

LMCache/LMCache#5314 · 1 comentario · Abierto el 23/9/2026
[good-first-issue] tests: stabilize flaky CI tests from recent PRs Abierto

good first issue help wanted onboarding-2026 Testing

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

LMCache/LMCache#5313 · 1 comentario · Abierto el 23/9/2026
[Bug] Native connector batch completion publishes per-key results with no happens-before (TSan: 6 races) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

LMCache/LMCache#5296 · 1 comentario · Abierto el 22/9/2026
[MP] Model sparse presence domains across kernel groups Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5288 · Abierto el 22/9/2026
MP client: unanswered STORE/RETRIEVE RPCs cause unbounded client-side memory leak after GPU context loss Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5270 · 2 comentarios · Abierto el 20/9/2026
[Bug][MP] Stale CUDA IPC mappings block vLLM restart after an abnormal worker exit Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5265 · 4 comentarios · 2 reacciones · Abierto el 20/9/2026
[Bug] Shutdown and L1 TTL expiry can reclaim a buffer an L2 adapter is still loading into Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5263 · 1 comentario · Abierto el 19/9/2026
MP mode (LMCacheMPConnector) ignores save_decode_cache and stores decode KV, causing unbounded L1/L2 writes and premature eviction Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 56/100

LMCache/LMCache#5230 · 2 comentarios · Abierto el 18/9/2026
[Feature][MP] Negotiate chunk_size from vLLM KV geometry at first registration Abierto

enhancement mp_mode versioning / compatibility vllm

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5217 · Abierto el 18/9/2026
[good-first-issue] lint: remove stale G004 ignores for clean connector adapters Abierto

good first issue help wanted

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

LMCache/LMCache#5205 · 2 comentarios · Abierto el 18/9/2026
[good-first-issue] tests: convert disagg channel logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100

LMCache/LMCache#5203 · 2 comentarios · Abierto el 18/9/2026
[good-first-issue] connectors: convert HF3FS adapter logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5200 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] connectors: convert backend connector logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5198 · 2 comentarios · Abierto el 18/9/2026
[good-first-issue] connectors: convert common connector logging to %-format Abierto

good first issue help wanted

Dificultad 3/5 1-2 días Aptitud para principiantes 82/100

LMCache/LMCache#5197 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] storage: convert NIXL backend logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5196 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] compute: convert blend and model logging to %-format Abierto

good first issue help wanted

Dificultad 3/5 1-2 días Aptitud para principiantes 82/100

LMCache/LMCache#5192 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] compute: convert attention logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

LMCache/LMCache#5191 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] v1: convert config and cache-engine logging to %-format Abierto

good first issue help wanted

Dificultad 3/5 1-2 días Aptitud para principiantes 86/100

LMCache/LMCache#5190 · 3 comentarios · Abierto el 18/9/2026
[good-first-issue] v1: convert cache-controller logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

LMCache/LMCache#5189 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] v1: convert API and server entrypoint logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100

LMCache/LMCache#5188 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] logging: convert top-level LMCache utility logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100

LMCache/LMCache#5187 · 3 comentarios · Abierto el 18/9/2026
[good-first-issue] examples: convert token_dropping experiment logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100

LMCache/LMCache#5185 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] examples: convert token_dropping notebook logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 Medio día Aptitud para principiantes 88/100

LMCache/LMCache#5184 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] examples: convert disagg_prefill logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5182 · 1 comentario · Abierto el 18/9/2026
[good-first-issue] benchmarks: convert storage_backend_io logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

LMCache/LMCache#5181 · 3 comentarios · Abierto el 18/9/2026
[good-first-issue] benchmarks: convert multi_round_qa logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5179 · 2 comentarios · Abierto el 18/9/2026
[good-first-issue] buildkite: convert async_request logging to %-format Abierto

good first issue help wanted

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5178 · 3 comentarios · Abierto el 18/9/2026
[MP] [Bug] Isolated IPC: KV re-registration after a server restart fails with CUDA_ERROR_INVALID_CONTEXT Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 76/100

LMCache/LMCache#5168 · 1 comentario · Abierto el 17/9/2026
[Feature] Provide a Kubernetes probe for end-to-end MP server and worker health Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5164 · Abierto el 17/9/2026
[Bug] flaky test: test_sparse_skip_l2_locks_only_l1 Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

LMCache/LMCache#5135 · Abierto el 16/9/2026
[Proposal] Enforce lazy %-format logging (ruff G004) so the f-string logging migration stops regressing Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5118 · 5 comentarios · Abierto el 15/9/2026
logging: convert f-string log calls in azure_adapter.py and audit_adapter.py to %-format Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

LMCache/LMCache#5112 · 1 comentario · Abierto el 14/9/2026
logging: convert f-string log calls in eic_adapter.py and s3_adapter.py to %-format Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 94/100

LMCache/LMCache#5110 · 1 comentario · Abierto el 14/9/2026
logging: convert f-string log calls in 3 small modules to %-format Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

LMCache/LMCache#5106 · 1 comentario · Abierto el 14/9/2026
[Question] MP mode + `--engine-type blend`: is there a client-side (vLLM) counterpart that sends CB_REGISTER_ROPE_V3? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

LMCache/LMCache#5101 · Abierto el 14/9/2026
LMCache MP 0.5.5 with GLM-5.3-Flash fails on non-contiguous tensor or no IPC lookup key Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

LMCache/LMCache#5097 · Abierto el 13/9/2026
Every cache hit logs "Double unpin occurred somewhere" (pin count driven to -1) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

LMCache/LMCache#5090 · Abierto el 13/9/2026
[RFC][MP][Coordinator] L1 cache moves Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5083 · Abierto el 12/9/2026
[Feature][MP] Commit windowed KV to L2 on turn boundaries Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5073 · 3 comentarios · Abierto el 11/9/2026
from_gpu() skips the stream sync when the destination buffer is CUDA, so PD senders with pd_buffer_device: "cuda" can RDMA a half-written KV chunk Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

LMCache/LMCache#5048 · Abierto el 9/9/2026
[Bug][MP] Failed prefetch cleanup can publish invalid L1 data Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100

LMCache/LMCache#5032 · Abierto el 8/9/2026
[RFC] Shared Device-DAX KV pooling for LMCache MP servers Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 32/100

LMCache/LMCache#5030 · 1 comentario · 3 reacciones · Abierto el 8/9/2026
[BUG][TURBOQUANT] FP9 key store kernel fails on A100 (SM80) with bfloat16 models — Triton assertion error in `convert_custom_float8` Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 76/100

LMCache/LMCache#5022 · Abierto el 8/9/2026
[RFC] Add Rust raw-block I/O performance and observability metrics Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

LMCache/LMCache#5016 · 6 comentarios · Abierto el 8/9/2026
[Bug][Async Loading] Aborted lookup cleanup depends on a future unrelated lookup Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100

LMCache/LMCache#5006 · Abierto el 7/9/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

LMCache

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo