GPU builds of the llama-rpc image (CUDA, Vulkan)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- docker, github-actions
- Área
- devops, infrastructure
Línea de trabajo
Start with the image build in .github/workflows/llama-rpc.yml, then find where llama-distributed reads the GPU inventory and chooses a worker's variant. Done means CUDA and Vulkan tags are built, the right tag is picked per machine, and GPU workers are marked with "gpu": true. The issue does not say how a worker reports its GPU, so check that first.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
ghcr.io/a-hackers-guide/llama-rpc is CPU-only today. Add CUDA and Vulkan variants (tags like b12019-cuda, b12019-vulkan) built in .github/workflows/llama-rpc.yml, and let llama-distributed pick the variant per machine from its GPU inventory. Mark GPU workers with "gpu": true once the image can use them.
- Lenguaje dominante
- Go
- Estrellas
- 1
- Forks
- 0
- Merge medio
- 12 min
- PR fusionados (30 d)
- 2
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de A-Hackers-Guide/sys1
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
A-Hackers-Guide/sys1#31 · 1 comentario ·
-
known limitation reliability storage
Dificultad 5/5 Más de una semana Aptitud para principiantes 18/100
A-Hackers-Guide/sys1#27 · 1 comentario ·
-
Remote dashboard access modeAbiertoknown limitation security
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
A-Hackers-Guide/sys1#26 ·
-
distribution security
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
A-Hackers-Guide/sys1#25 ·
-
integration roadmap
Dificultad 4/5 3-5 días Aptitud para principiantes 22/100
A-Hackers-Guide/sys1#21 ·
Todos los issues de A-Hackers-Guide/sys1
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
radius-project/radius#13744 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
mvanhorn/printing-press-library#2460 ·
Los mantenedores suelen responder en 1 día
-
Mark the `--migrate-db` option to `podman system migrate` as hidden, and remove it from the ManpagesAbiertoContribfest kind/cleanup
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
podman-container-tools/podman#30210 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
fabriziosalmi/secure-proxy-manager#619 ·
Los mantenedores suelen responder en 1 día
-
bug needs-triage P1 tier:1-mechanical
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
krakenhavoc/cmd_and_ctrl#5434 ·
Los mantenedores suelen responder en 1 día