Can RotorQuant/TurboQuant and dflash support be added?

Đang mở
#2,184 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
c, python
Lĩnh vực
ai-infra-agents, backend

Hướng nghiên cứu

Issue này yêu cầu bổ sung hỗ trợ cho TurboQuant/RotorQuant và dFlash speculative decoding vào các binding của llama-cpp-python. Trước tiên, hãy kiểm tra mã binding hiện có trong repository để hiểu cách các tính năng quantization và speculative decoding hiện được tích hợp. Kiểm tra dự án upstream llama.cpp để tìm các triển khai hoặc thảo luận hiện có về những tính năng này. Xác định những thay đổi cần thiết trong các binding C++ và giao diện Python, đồng thời xác minh quy trình build để đảm bảo tính tương thích.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi!
This project is very useful for using with llama.cpp in python. However, it would be great if we could have some features even before the main llama.cpp has full support for them. By that I mean TurboQuant/RotorQuant and dFlash speculative decoding. It would make this entire library AMAZING to use.

Ngôn ngữ chính
Python
Star
10.7k
Fork
1.5k
Merge trung bình
1 giờ 40 phút
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của abetlen/llama-cpp-python

Tất cả issue của abetlen/llama-cpp-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.