Feature Request: P40 KV Tail optimization

Abierto
#118 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
20/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
cpp

Línea de trabajo

Reproduce the failure on a P40 with KV tail enabled, using the reported message KV tail layer 3 native operation is unsupported by its planned backend CUDA0; refusing scheduler fallback as the entry point. Trace where backend capability checks reject the KV tail operation and identify which native operations CUDA0 does not support on this GPU. Done means the P40 can initialize and run with KV tail without that refusal, or the unsupported operation is handled through an allowed fallback.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement
Prerequisites
  • I am running the latest code. Mention the version if possible as well.
  • I carefully followed the README.md.
  • I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
  • I reviewed the Discussions, and have a new and useful enhancement to share.
Feature Description

So on P40 gpus right now kv tail doesn't work because of some unsupported ops.

0.04.306.042 E llama_init_from_model: failed to initialize the context: KV tail layer 3 native operation is unsupported by its planned backend CUDA0; refusing scheduler fallback

I don't know enough myself on how all that works but I'd love to have that available for these older gpus for some better performance for tasks that don't quite otherwise fit.

Motivation

Wider GPU support for some older but still useful gpus

Possible Implementation

No response

Lenguaje dominante
C++
Estrellas
1.2k
Forks
80
Merge medio
4 d 20 h
PR fusionados (30 d)
2

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de Anbeeld/beellama.cpp

Todos los issues de Anbeeld/beellama.cpp

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.