mayocream/koharu

Shared gpu Memory

Open

#638 aperta il 1 mag 2026

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Rust (257 fork)github user discovery
help wanted

Metriche repository

Star
 (4568 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

does koharu can't utilize shared gpu memory? because im using sugoi 14b ultra models and sometimes it just stop translating after dedicated memory is full

my system is using rtx 3060 12Gb vram intel core i5 10400f and 64Gb ram. so i have about 32gb shared memory

sugoi 14b ultra model is really nice at translating, thats why i like it even it is slower than vntl-llama3-8b-v2.

Guida contributor

Direzione di ricerca
Investigare come koharu gestisce l'allocazione della memoria GPU, in particolare la memoria condivisa. Verificare se esiste un'opzione di configurazione per l'utilizzo della memoria o se il caricamento del modello può essere regolato per utilizzare la memoria condivisa quando la memoria dedicata è esaurita. Esaminare la gestione della memoria nelle dipendenze come `candle` o `llama cpp rs`.
Tech stack
rust
Dominio
desktopmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GitRust
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65