Feature Request: P40 KV Tail optimization
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 20/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- cpp
- Ambito
- ai-infra-agents, performance
Direzione di ricerca
Reproduce the failure on a P40 with KV tail enabled, using the reported message KV tail layer 3 native operation is unsupported by its planned backend CUDA0; refusing scheduler fallback as the entry point. Trace where backend capability checks reject the KV tail operation and identify which native operations CUDA0 does not support on this GPU. Done means the P40 can initialize and run with KV tail without that refusal, or the unsupported operation is handled through an allowed fallback.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Prerequisites
- I am running the latest code. Mention the version if possible as well.
- I carefully followed the README.md.
- I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
- I reviewed the Discussions, and have a new and useful enhancement to share.
Feature Description
So on P40 gpus right now kv tail doesn't work because of some unsupported ops.
0.04.306.042 E llama_init_from_model: failed to initialize the context: KV tail layer 3 native operation is unsupported by its planned backend CUDA0; refusing scheduler fallback
I don't know enough myself on how all that works but I'd love to have that available for these older gpus for some better performance for tasks that don't quite otherwise fit.
Motivation
Wider GPU support for some older but still useful gpus
Possible Implementation
No response
- Lingua principale
- C++
- Stelle
- 1.2k
- Fork
- 80
- Merge medio
- 4g 20h
- PR unite (30g)
- 2
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Anbeeld/beellama.cpp#205 ·
-
Difficoltà 3/5 Mezza giornata Idoneità per principianti 58/100
Anbeeld/beellama.cpp#206 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 57/100
Anbeeld/beellama.cpp#204 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#203 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#202 · 1 commento ·
Tutte le issue di Anbeeld/beellama.cpp
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
CachyOS/packageinstaller#144 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
TomerAberbach/profiler-md#951 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysForse già presa @0z5a l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/pulsar-client-go#1575 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pocoproject/poco#5764 ·
I maintainer di solito rispondono entro 2 giorni
-
bug cpp-core-guidelines low-priority
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
NatronGitHub/openfx-supportext#164 ·
I maintainer di solito rispondono entro 1 giorno