Support for 4bit or 8bit tensor
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- cpp
- Domaine
- hpc, performance
Piste de recherche
Aucun fichier, test ou point d’entrée n’est nommé. Commencez par clarifier la représentation prévue des tenseurs 4-bit et 8-bit ainsi que la portée attendue de l’exemple, puis identifiez les points d’entrée pertinents pour les tenseurs et les calculs GPU ; la réalisation doit inclure un exemple fonctionnel qui démontre la bande passante mémoire réduite demandée.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Although it may be out of scope, it would be nice to have an example of computing 4bit and 8bit tensors, to save memory bandwidth.
- Langage dominant
- C++
- Étoiles
- 4k
- Forks
- 199
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de AnswerDotAI/gpu.cpp
-
Find the optimal LIMIT setting Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
AnswerDotAI/gpu.cpp#72 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
AnswerDotAI/gpu.cpp#51 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
AnswerDotAI/gpu.cpp#48 ·
-
Does gpu.cpp support f64 or i64? Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
AnswerDotAI/gpu.cpp#45 · 4 commentaires ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
AnswerDotAI/gpu.cpp#42 · 8 commentaires ·
Toutes les issues de AnswerDotAI/gpu.cpp
Issues similaires
-
ai_reviewed
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
ydb-platform/ydb#53869 · 3 commentaires ·
-
bug cert blocker needs triage
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
project-chip/connectedhomeip#74373 ·
-
[request] tracy/0.14.1 Ouverteupstream update
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
conan-io/conan-center-index#31035 ·
-
Bug
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
-
documentation
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
vllm-project/vllm-ascend#17329 ·