Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

ruvllm 2.1.0: quantize reads 0 tensors from a HuggingFace directory or .safetensors and writes a 75-byte GGUF

Đang mở
  • Có gì không ổn?
#968 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
52/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust
Lĩnh vực
ai, machine-learning

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện vấn đề với lệnh ruvllm quantize --model trên một thư mục HuggingFace và một tệp .safetensors, sau đó lần theo điểm vào tải đầu vào của quantize. Xác định xem có thể tải các đầu vào safetensors hay không; được xem là hoàn tất khi tạo ra đầu ra GGUF hợp lệ hoặc xuất hiện lỗi rõ ràng cho biết đầu vào không được hỗ trợ, thay vì một tệp 75 byte được tạo thành công.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

What happens

ruvllm quantize --model <hf-dir-or-model.safetensors> --quant q4_k_m --output out.gguf (ruvllm 2.1.0, Linux x86_64) prints Input size: 0.00 MB, 0 tensors, 0 elements, and writes a 75-byte file, for both a merged HuggingFace directory (config.json + model.safetensors + tokenizer.json) and the bare .safetensors path. The same weights load fine in candle and convert to a valid GGUF with candle's writer, so the input is well-formed.

Where it was hit

Mission ruOS SLiM (cognitum-one/ruos-desktop PR #83, ADR-061): a candle LoRA fine-tune of Qwen2.5-0.5B-Instruct merged to HF safetensors, then exported. The --help text advertises "Quantize a model to GGUF format … Q4_K_M, Q5_K_M, Q8_0" and gives ruvllm quantize --model ./model.safetensors --quant q8_0 as an example, so callers reasonably expect the safetensors path to work.

Expected

Either a working safetensors/HF-dir loader for quantize, or a loud error ("safetensors input not supported yet") instead of a 75-byte success.

Workaround

candle's native GGUF writer (llama.cpp Q4_K_M mixed layout for hidden sizes that are not multiples of 256, e.g. 896 on Qwen2.5-0.5B).

🤖 Generated with claude-flow

https://claude.ai/code/session_01CmwEhDLBt5MWxBBBTzvQqA

Ngôn ngữ chính
Rust
Star
4.5k
Fork
603
Merge trung bình
2 ngày 9 giờ
Pull request đã merge (30 ngày)
34

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ruvnet/RuVector

Tất cả issue của ruvnet/RuVector

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.