AVX-512 instructions enable denser packing and more efficient lookups.
Mantenedores costumam responder em até 6 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Pouca atividade
- Stack de tecnologia
- cpp
- Domínio
- performance
Direção de pesquisa
Comece revisando a implementação vinculada em src/ternary_mm_avx512.cpp e compare sua abordagem de lookup para cinco ativações com o código correspondente do BitNet. Identifique o ponto de integração pretendido e determine qual benchmark ou validação demonstraria o ganho de velocidade relatado; a issue não nomeia nenhum arquivo do BitNet nem teste que defina a conclusão.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
I have an implementation put together here: https://github.com/tommyyliu/lut_mm/blob/master/src/ternary_mm_avx512.cpp
The table has all the dot products with 5 activations instead of just 3. This means that each lookup handles 5 instead of 3, and you can see pretty substantial speedup.
- Linguagem predominante
- C++
- Estrelas
- 41.2k
- Forks
- 3.8k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de microsoft/BitNet
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100
microsoft/BitNet#618 · 2 comentários ·
Mantenedores costumam responder em até 6 dias
-
i2_s SIGSEGVs at n_ubatch >= 32: BLAS backend dequantises by a row stride 4x the real packed rowAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
microsoft/BitNet#601 · 3 comentários ·
Mantenedores costumam responder em até 6 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100
microsoft/BitNet#578 · 1 comentário · 3 reações ·
Mantenedores costumam responder em até 6 dias
-
Warning: `huggingface-cli` is deprecated and no longer works. Use `hf` instead.Talvez já em andamento @ousamabenyounes assumiu há 71 dias. Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 92/100
microsoft/BitNet#560 · 2 comentários ·
Mantenedores costumam responder em até 6 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
microsoft/BitNet#513 · 3 comentários · 1 reação ·
Mantenedores costumam responder em até 6 dias
Todas as issues de microsoft/BitNet
Issues semelhantes
-
enhancement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
metasequoiaime/msime#9113 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
tone-3000/tone3000-plugin#257 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Locked plugin flip-flops position on every refresh after being disabledTalvez já em andamento @Illustar0 assumiu hoje. Abertaissue report
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
ModOrganizer2/modorganizer#2449 ·
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 67/100
Mantenedores costumam responder em até 1 dia
-
enhancement P5
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
open-astro/AlpacaBridge#1468 ·
Mantenedores costumam responder em até 1 dia