mayocream/koharu

Shared gpu Memory

Open

#638 aberto em 1 de mai. de 2026

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Rust (257 forks)github user discovery
help wanted

Métricas do repositório

Stars
 (4.568 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

does koharu can't utilize shared gpu memory? because im using sugoi 14b ultra models and sometimes it just stop translating after dedicated memory is full

my system is using rtx 3060 12Gb vram intel core i5 10400f and 64Gb ram. so i have about 32gb shared memory

sugoi 14b ultra model is really nice at translating, thats why i like it even it is slower than vntl-llama3-8b-v2.

Guia do colaborador

Direção de pesquisa
Investigue como o koharu lida com a alocação de memória GPU, especialmente a memória compartilhada. Verifique se há uma opção de configuração para o uso de memória ou se o carregamento do modelo pode ser ajustado para usar memória compartilhada quando a memória dedicada estiver cheia. Analise o gerenciamento de memória em dependências como `candle` ou `llama cpp rs`.
Pilha de tecnologia
rust
Domain
desktopmachine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
GitRust
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65