Unoptimized Build
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 30/100
- Tipo de issue
- Refatoração
- Clareza
- Razoavelmente clara
- Status de atividade
- Pouca atividade
- Stack de tecnologia
- cmake, cpp
- Domínio
- build-system
Direção de pesquisa
Start from the CUDA target definition under ggml/src/ggml-cuda and the generated template-instances/*.cu files shown in the build log, especially the fattn-mma-kvarn-* objects. Reproduce with a clean CUDA build and time those objects to confirm where the slowdown is. Done means the build is faster without changing kernel behavior and the CUDA build/tests still pass.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Hey there, thanks for this project!
I have been trying it out, and it's quite clear that the build is highly unoptimized. Trying it on two different, beefy machines, shows the build significantly slowing down around here:
[ 14%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_1-ncols2_8.cu.o
[ 14%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_16-ncols2_1.cu.o
[ 14%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_16-ncols2_2.cu.o
[ 14%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_16-ncols2_4.cu.o
[ 14%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_16-ncols2_8.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_2-ncols2_4.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_2-ncols2_8.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_32-ncols2_1.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_32-ncols2_2.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_4-ncols2_2.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_4-ncols2_4.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_4-ncols2_8.cu.o
[ 15%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_64-ncols2_1.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_8-ncols2_1.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_8-ncols2_2.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_8-ncols2_4.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-instance-ncols1_8-ncols2_8.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k8-v8.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k8-v6.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k8-v5.cu.o
[ 16%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k6-v6.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k6-v5.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k6-v4.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k5-v5.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k5-v4.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k5-v3.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k4-v4.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k4-v3.cu.o
[ 17%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k4-v2.cu.o
[ 18%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k3-v3.cu.o
[ 18%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k3-v2.cu.o
[ 18%] Building CUDA object ggml/src/ggml-cuda/CMakeFiles/ggml-cuda.dir/template-instances/fattn-mma-kvarn-decode-instance-k2-v2.cu.o
Notice that it is the kvarn object files that are the significant slowdown. Would you be willing to implement a build optimization fix? I'm guessing these are pulling in a significant amount of headers. It's quite unbelievable how slow the build is for these object files, each taking in the order of tens of minutes.
- Linguagem predominante
- C++
- Estrelas
- 1.2k
- Forks
- 80
- Merge médio
- 4d 20h
- PRs com merge (30d)
- 2
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
Anbeeld/beellama.cpp#205 ·
-
Dificuldade 3/5 Meio dia Facilidade para iniciantes 58/100
Anbeeld/beellama.cpp#206 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 57/100
Anbeeld/beellama.cpp#204 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
Anbeeld/beellama.cpp#203 · 2 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
Anbeeld/beellama.cpp#202 · 1 comentário ·
Todas as issues de Anbeeld/beellama.cpp
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
CachyOS/packageinstaller#144 ·
Mantenedores costumam responder em até 1 dia
-
documentation
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 82/100
TomerAberbach/profiler-md#951 ·
Mantenedores costumam responder em até 1 dia
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysTalvez já em andamento @0z5a assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
apache/pulsar-client-go#1575 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
pocoproject/poco#5764 ·
Mantenedores costumam responder em até 2 dias
-
bug cpp-core-guidelines low-priority
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
NatronGitHub/openfx-supportext#164 ·
Mantenedores costumam responder em até 1 dia