bpe-openai: allow lazy loading BPE and feature flag each model
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- rust
- Área
- performance
Línea de trabajo
El issue no menciona archivos, pruebas ni puntos de entrada; comienza localizando los modelos .dict generados por bpe-openai y el código que los traduce o carga. Se considera terminado cuando los modelos se pueden cargar de forma diferida, se pueden seleccionar modelos individuales con feature flags y se demuestran ahorros en el binario y la memoria sin perder el comportamiento compatible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The fully generated .dict models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.
It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.
It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.
- Lenguaje dominante
- Rust
- Estrellas
- 134
- Forks
- 24
- Merge medio
- 16 h 27 min
- PR fusionados (30 d)
- 11
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de github/rust-gems
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
`bpe` Python Bindings? Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
Todos los issues de github/rust-gems
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
ontola/atomic-server#1625 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
VirusTotal/yara-x#777 ·
-
has_tail_capacity wraps and get_writable_raw_unchecked commits raw_len before the bounds check Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
stratum-mining/stratum#2404 ·
-
bug ci good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100