Carry per-group slot mappings into multi-KV forwards
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- cpp
Línea de trabajo
Rastrea StepInputs::slot_mapping a través de CommonAttentionMetadata y MultiKvCacheIndex, comenzando por el flujo forward compartido de Multi-KV. Determina dónde viven los mappings gestionados por el runner para el forward y cómo los consume la ruta registrada de DeepSeek V4. Se considera completado cuando cada grupo KV recibe su mapping real y se demuestra mediante una mutación un mapping no identidad a través de esa ruta.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Row: MODEL-MM-deepseek-v4-deepseek-v4-for-causal-lm
DeepSeek V4 Vision W4 found that StepInputs::slot_mapping[g] is computed for every KV group, but the runner forwards only the full-attention group's mapping through CommonAttentionMetadata. MultiKvCacheIndex carries per-group block tables but no parallel per-group slot mappings.
That makes a production multi-cache model validate the real cache groups and then either invent identity slots or ignore non-primary cache writes. W4 needs the actual SWA, compressed-latent, attention-compressor, indexer-key, and indexer-compressor slots.
Fix in the same flow: add a borrowed per-group slot-mapping channel to the shared multi-KV index, populate it from runner-owned step inputs for the forward lifetime, and mutation-prove a non-identity mapping through the registered DeepSeek V4 path. The pull request for #2411 closes this issue too.
- Lenguaje dominante
- C++
- Estrellas
- 423
- Forks
- 53
- Merge medio
- 1 d 5 h
- PR fusionados (30 d)
- 376
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mudler/vllm.cpp
-
[Windows] full build fails in tools/bench/conv1d_scaling_probe.cpp (POSIX-only sys/resource.h)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
Todos los issues de mudler/vllm.cpp
Issues similares
-
component: split-view platform: windows
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
zen-browser/desktop#15616 · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
area/ysql kind/bug priority/medium status/awaiting-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
yugabyte/yugabyte-db#34415 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
WayfireWM/wayfire#3148 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
backend:DirectX
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
llvm/llvm-project#227530 ·
Los mantenedores suelen responder en 1 día