Support for 4bit or 8bit tensor
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- cpp
- Domínio
- hpc, performance
Direção de pesquisa
Nenhum arquivo, teste ou ponto de entrada é especificado. Primeiro, esclareça a representação pretendida dos tensores de 4-bit e 8-bit e o escopo esperado do exemplo; em seguida, identifique os pontos de entrada relevantes para tensores e computação em GPU; a implementação deve incluir um exemplo funcional que demonstre a largura de banda de memória reduzida solicitada.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Although it may be out of scope, it would be nice to have an example of computing 4bit and 8bit tensors, to save memory bandwidth.
- Linguagem predominante
- C++
- Estrelas
- 4k
- Forks
- 199
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de AnswerDotAI/gpu.cpp
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
AnswerDotAI/gpu.cpp#72 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
AnswerDotAI/gpu.cpp#51 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
AnswerDotAI/gpu.cpp#48 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
AnswerDotAI/gpu.cpp#45 · 4 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
AnswerDotAI/gpu.cpp#42 · 8 comentários ·
Todas as issues de AnswerDotAI/gpu.cpp
Issues semelhantes
-
ai_reviewed
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
ydb-platform/ydb#53869 · 3 comentários ·
-
bug cert blocker needs triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
project-chip/connectedhomeip#74373 ·
-
[request] tracy/0.14.1 Abertaupstream update
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
conan-io/conan-center-index#31035 ·
-
Bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
-
documentation
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
vllm-project/vllm-ascend#17329 ·