mayocream/koharu

Shared gpu Memory

Open

#638 ouverte le 1 mai 2026

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Rust (257 forks)github user discovery
help wanted

Métriques du dépôt

Stars
 (4 568 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

does koharu can't utilize shared gpu memory? because im using sugoi 14b ultra models and sometimes it just stop translating after dedicated memory is full

my system is using rtx 3060 12Gb vram intel core i5 10400f and 64Gb ram. so i have about 32gb shared memory

sugoi 14b ultra model is really nice at translating, thats why i like it even it is slower than vntl-llama3-8b-v2.

Guide contributeur

Direction de recherche
Enquetez sur la façon dont koharu gere l'allocation de memoire GPU, en particulier la memoire partagee. Verifiez s'il existe une option de configuration pour l'utilisation de la memoire ou si le chargement du modele peut etre ajuste pour utiliser la memoire partagee lorsque la memoire dediee est epuisee. Examinez la gestion de la memoire dans les dependances comme `candle` ou `llama cpp rs`.
Stack technique
rust
Domaine
desktopmachine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
GitRust
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65