bpe-openai: allow lazy loading BPE and feature flag each model

Đang mở
#82 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
rust
Lĩnh vực
performance

Hướng nghiên cứu

Issue không nêu tên tệp, kiểm thử hay entry point nào; hãy bắt đầu bằng cách xác định các model .dict được bpe-openai tạo ra và mã chuyển đổi hoặc tải chúng. Công việc được xem là hoàn tất khi có thể tải các model một cách lazy, chọn từng model bằng feature flags và chứng minh được mức tiết kiệm về binary và bộ nhớ mà không làm mất hành vi được hỗ trợ.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

The fully generated .dict models take 70mb, which bloats binaries substantially. This is compared to 3.4mb for the targz.

It would be nice to support lazily doing this translation, which takes a modest hit to runtime performance in return for dramatically smaller binary, and the ability to only load certain models reducing memory consumption.

It would also be nice to have feature flags to turn off certain models; this is less important if we add lazy loading, though, as it would just allow you to save 1-2mb off the binary.

Ngôn ngữ chính
Rust
Star
134
Fork
24
Merge trung bình
16 giờ 27 phút
Pull request đã merge (30 ngày)
11

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của github/rust-gems

Tất cả issue của github/rust-gems

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.