Direct image input via PIL instead of Base64

Đang mở
#2,078 0 bình luận 1 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
api, backend

Hướng nghiên cứu

Xem xét mã xử lý đầu vào hình ảnh trong codebase, có thể nằm quanh phần suy luận mô hình hoặc lớp API. Tìm nơi hiện đang thực hiện mã hóa/giải mã Base64. Nghiên cứu cách truyền trực tiếp hình ảnh PIL vào các binding C++ nền tảng của llama.cpp. Kiểm tra các test hiện có về xử lý hình ảnh để hiểu interface. “Hoàn tất” có nghĩa là API chấp nhận một đối tượng PIL Image hoặc một đường dẫn tệp và xử lý nó mà không có overhead bộ nhớ của Base64.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Describe the solution you'd like

Support for PIL library image input (path) instead of Base64 encoding.
For example, when using models with transformers library, I provide images this way img = Image.open(path).convert("RGB") which isn't an additional 33% increase of memory overhead like it is with Base64.

Describe alternatives you've considered

I am currently using llama.cpp CLI version to process images in batch using GGUF models but I'd rather prefer this functionality here as well.

Ngôn ngữ chính
Python
Star
10.7k
Fork
1.5k
Merge trung bình
1 giờ 40 phút
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của abetlen/llama-cpp-python

Tất cả issue của abetlen/llama-cpp-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.