Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

SOTA experiment: CacheBridge cross-model KV transfer for router handoffs

Aperta
  • Qualcosa non va?
#956 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Attiva
Stack tecnologico
pytorch, rust
Ambito
ai, distributed-systems, performance

Direzione di ricerca

Non vengono indicati file, test o entry point. Inizia individuando gli entry point esistenti per il model-routing e i benchmark degli adapter, quindi confronta il re-prefill ordinario, la precedente baseline di mapping semplice e il mapping head-matched in stile CacheBridge nelle condizioni fissate. Il lavoro è completato quando le metriche richieste di latenza, qualità, storage, calibrazione, memoria, larghezza di banda, lunghezza del contesto, direzione e multi-switch soddisfano il promotion gate indicato, mantenendo il rollback.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Finding

CacheBridge: Efficient Cross-Model KV Cache Transfer (arXiv:2609.00891, submitted 2026-09-01) reports cross-model KV transfer intended to avoid full receiver prefill during model-family handoffs. The originating team reports 99.83% mean target retention on Qwen3 in one direction family, up to 3x faster mapper application, 8x lower mapper storage, matching with one tenth the calibration data, and a reported mapper construction reduction from 92.63s to 8.63s in a Qwen3 14B to 32B setting.

Evidence status: originating-team measured, GPU/model-family specific, not independently reproduced by RuV.

RuV opportunity

This maps to ruvLLM, RuVector, Cognitum model routing, MidStream, and distributed inference. It could make mid-session model escalation materially cheaper if cache transfer preserves quality.

Experiment

Do not replace prefill globally. Add an isolated adapter benchmark with:

  1. normal target re-prefill
  2. prior simple cross-model mapping baseline
  3. CacheBridge-style head-matched mapping

Pin model revisions, tokenizer, RoPE configuration, context lengths, CUDA, driver, PyTorch/serving runtime, GPU, calibration corpus, and random seeds.

Metrics

  • target task accuracy / perplexity retention
  • TTFT and p50/p95 handoff latency
  • mapper construction time
  • mapper storage
  • calibration sample count
  • GPU memory and transfer bandwidth
  • failure by context length and transfer direction
  • quality after multiple model switches

Falsification

Mandatory controls include just re-prefilling, prefix caching on the same model, and a simpler linear map. If handoff frequency is low or transferred quality falls materially, the added mapping layer should be rejected.

Promotion gate

At least 2x lower handoff prefill latency on a real RuV routed workload, target quality loss no greater than 1 absolute point, deterministic rollback to ordinary prefill, and no change to RVM authority or provenance semantics.

Lingua principale
Rust
Stelle
4.6k
Fork
611
Merge medio
22h 10m
PR unite (30g)
58

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ruvnet/RuVector

Tutte le issue di ruvnet/RuVector

Issue simili

Altre issue su Rust

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.