Feature Request: P40 KV Tail optimization

Aperta
#118 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
20/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
cpp

Direzione di ricerca

Reproduce the failure on a P40 with KV tail enabled, using the reported message KV tail layer 3 native operation is unsupported by its planned backend CUDA0; refusing scheduler fallback as the entry point. Trace where backend capability checks reject the KV tail operation and identify which native operations CUDA0 does not support on this GPU. Done means the P40 can initialize and run with KV tail without that refusal, or the unsupported operation is handled through an allowed fallback.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement
Prerequisites
  • I am running the latest code. Mention the version if possible as well.
  • I carefully followed the README.md.
  • I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
  • I reviewed the Discussions, and have a new and useful enhancement to share.
Feature Description

So on P40 gpus right now kv tail doesn't work because of some unsupported ops.

0.04.306.042 E llama_init_from_model: failed to initialize the context: KV tail layer 3 native operation is unsupported by its planned backend CUDA0; refusing scheduler fallback

I don't know enough myself on how all that works but I'd love to have that available for these older gpus for some better performance for tasks that don't quite otherwise fit.

Motivation

Wider GPU support for some older but still useful gpus

Possible Implementation

No response

Lingua principale
C++
Stelle
1.2k
Fork
80
Merge medio
4g 20h
PR unite (30g)
2

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Anbeeld/beellama.cpp

Tutte le issue di Anbeeld/beellama.cpp

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.