Support for 4bit or 8bit tensor
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- cpp
- Área
- hpc, performance
Línea de trabajo
No se nombran archivos, pruebas ni puntos de entrada. Primero aclara la representación de tensores de 4-bit y 8-bit prevista y el alcance esperado del ejemplo; después identifica los puntos de entrada relevantes para los tensores y el cálculo en GPU; la implementación debe incluir un ejemplo funcional que demuestre el ancho de banda de memoria reducido solicitado.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Although it may be out of scope, it would be nice to have an example of computing 4bit and 8bit tensors, to save memory bandwidth.
- Lenguaje dominante
- C++
- Estrellas
- 4k
- Forks
- 199
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de AnswerDotAI/gpu.cpp
-
Find the optimal LIMIT setting Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
AnswerDotAI/gpu.cpp#72 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
AnswerDotAI/gpu.cpp#51 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
AnswerDotAI/gpu.cpp#48 ·
-
Does gpu.cpp support f64 or i64? Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
AnswerDotAI/gpu.cpp#45 · 4 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
AnswerDotAI/gpu.cpp#42 · 8 comentarios ·
Todos los issues de AnswerDotAI/gpu.cpp
Issues similares
-
ai_reviewed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ydb-platform/ydb#53869 · 3 comentarios ·
-
bug cert blocker needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
project-chip/connectedhomeip#74373 ·
-
[request] tracy/0.14.1 Abiertoupstream update
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
conan-io/conan-center-index#31035 ·
-
Bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
vllm-project/vllm-ascend#17329 ·