ruvllm 2.1.0: quantize reads 0 tensors from a HuggingFace directory or .safetensors and writes a 75-byte GGUF
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 52/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- rust
- Área
- ai, machine-learning
Línea de trabajo
Comienza reproduciendo el problema con el comando ruvllm quantize --model contra un directorio de HuggingFace y un archivo .safetensors; después, sigue el punto de entrada de carga de entradas de quantize. Determina si se pueden cargar entradas safetensors; se considera terminado cuando se obtiene una salida GGUF válida o un error claro de entrada no compatible en lugar de un archivo de 75 bytes generado correctamente.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
What happens
ruvllm quantize --model <hf-dir-or-model.safetensors> --quant q4_k_m --output out.gguf (ruvllm 2.1.0, Linux x86_64) prints Input size: 0.00 MB, 0 tensors, 0 elements, and writes a 75-byte file, for both a merged HuggingFace directory (config.json + model.safetensors + tokenizer.json) and the bare .safetensors path. The same weights load fine in candle and convert to a valid GGUF with candle's writer, so the input is well-formed.
Where it was hit
Mission ruOS SLiM (cognitum-one/ruos-desktop PR #83, ADR-061): a candle LoRA fine-tune of Qwen2.5-0.5B-Instruct merged to HF safetensors, then exported. The --help text advertises "Quantize a model to GGUF format … Q4_K_M, Q5_K_M, Q8_0" and gives ruvllm quantize --model ./model.safetensors --quant q8_0 as an example, so callers reasonably expect the safetensors path to work.
Expected
Either a working safetensors/HF-dir loader for quantize, or a loud error ("safetensors input not supported yet") instead of a 75-byte success.
Workaround
candle's native GGUF writer (llama.cpp Q4_K_M mixed layout for hidden sizes that are not multiples of 256, e.g. 896 on Qwen2.5-0.5B).
🤖 Generated with claude-flow
- Lenguaje dominante
- Rust
- Estrellas
- 4.5k
- Forks
- 603
- Merge medio
- 2 d 9 h
- PR fusionados (30 d)
- 34
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ruvnet/RuVector
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 83/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
adr phase-w4-3 pir stretch wave-4
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
Todos los issues de ruvnet/RuVector
Issues similares
-
backend::vllm diffusion multimodal
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
lambdaclass/ethrex#7329 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
shadowsocks/shadowsocks-rust#2186 · 1 comentario ·
-
[Chore]: Inconsistent wasm-pack binary invocation in justfile breaks cross-platform executionAbiertoC-bug S-awaiting-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
juspay/hyperswitch#14479 ·
Los mantenedores suelen responder en 1 día