realtime quantization to workers
@evilsocket ya está trabajando en esto.
Desde el 22/3/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
in theory, if the master has the full res model, while streaming to workers it could quantize it automatically on the fly so that a worker can host a quantized version of the full model the master is using / orchestrating.
- Lenguaje dominante
- Rust
- Estrellas
- 3.1k
- Forks
- 208
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de evilsocket/cake
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
evilsocket/cake#90 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
evilsocket/cake#91 · 1 comentario ·
-
Does this work for Qwen 3.8?Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
evilsocket/cake#87 · 1 comentario ·
-
integrate paged attentionQuizá libre de nuevo @evilsocket la tomó hace 191 días y no hay ningún pull request abierto. Abiertoenhancement
evilsocket/cake#76 · 1 asignado ·
-
investigate nintendo switch supportQuizá libre de nuevo @evilsocket la tomó hace 191 días y no hay ningún pull request abierto. Abiertoenhancement
evilsocket/cake#75 · 1 asignado ·
Todos los issues de evilsocket/cake
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
stellar/stellar-cli#2773 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
voidzero-dev/oxc-angular-compiler#511 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 86/100
yantrikos/yantrik-os#539 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
documentation station:mac ui-dashboard
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
rolter-ai/rolter#2490 · 1 comentario ·
Los mantenedores suelen responder en 1 día