mayocream/koharu

Shared gpu Memory

Open

#638 geöffnet am 1. Mai 2026

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Rust (257 Forks)github user discovery
help wanted

Repository-Metriken

Stars
 (4.568 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

does koharu can't utilize shared gpu memory? because im using sugoi 14b ultra models and sometimes it just stop translating after dedicated memory is full

my system is using rtx 3060 12Gb vram intel core i5 10400f and 64Gb ram. so i have about 32gb shared memory

sugoi 14b ultra model is really nice at translating, thats why i like it even it is slower than vntl-llama3-8b-v2.

Contributor Guide

Research-Richtung
Untersuchen Sie, wie koharu die GPU Speicherzuweisung verwaltet, insbesondere den gemeinsam genutzten Speicher. Prüfen Sie, ob es eine Konfigurationsoption für die Speichernutzung gibt oder ob das Laden des Modells angepasst werden kann, um gemeinsamen Speicher zu nutzen, wenn der dedizierte Speicher erschöpft ist. Überprüfen Sie die Speicherverwaltung in Abhängigkeiten wie `candle` oder `llama cpp rs`.
Tech Stack
rust
Domain
desktopmachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
GitRust
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65