Llava15ChatHandler - Cache Image Encoding

Đang mở
#2,222 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
performance

Hướng nghiên cứu

Xem mã nguồn của Llava15ChatHandler để hiểu cách mã hóa hình ảnh hiện được thực hiện trong mỗi lượt. Mục tiêu là lưu vào bộ nhớ đệm kết quả đã mã hóa. Hãy bắt đầu bằng việc kiểm tra luồng xử lý hình ảnh và xác định nơi lưu trữ cũng như tái sử dụng bộ nhớ đệm. Kiểm tra xem trong codebase đã có các cơ chế lưu bộ nhớ đệm hay chưa. Một triển khai thành công sẽ tránh phải mã hóa lại hình ảnh trong các cuộc hội thoại nhiều lượt, từ đó cải thiện tốc độ suy luận, đặc biệt trên CPU.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Is your feature request related to a problem? Please describe.
In multi-turn conversations that include images, the image encoding is performed on each turn. This slows down inference considerably, especially when running with pure CPU.

Describe the solution you'd like
Once an image has been encoded, the result can be reused, rather than re-encoding every turn.

Describe alternatives you've considered
Storing a detailed description of the image in the conversation history, and popping out the image_url part. This is not as flexible however, if wanting to query about something specfic later on that wasn't captured in the saved description.

Additional context
I have implemented a solution locally editing the source code (with some heavy AI assistance, as I am not an expert on low level LLM coding) and seem to have this feature working, by storing chunk signatures instead of immediately processing and manipulating the kv_cache_seq_rm, but not really sure if its a safe/sustainable approach.

I could share the source code or raise a draft PR if it'd be useful.

Thanks!

Ngôn ngữ chính
Python
Star
10.7k
Fork
1.5k
Merge trung bình
1 giờ 40 phút
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của abetlen/llama-cpp-python

Tất cả issue của abetlen/llama-cpp-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.