mmap=true
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 45/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu từ ColPaliModel.from_index và lần theo đường dẫn tải index, bao gồm entry point _load_index_with_mmap và lệnh gọi torch.load của nó. Kiểm tra cách chọn map_location, đặc biệt đối với Apple Silicon. Hoàn thành khi torch.load có thể sử dụng mmap=True mà vẫn giữ nguyên ràng buộc đã được ghi lại về việc tải trên CPU.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Need to be able to set mmap=true for torch.load() for us humble people without very good computers.
That is all.
For those that need a Fix now just make your own ColPaliModel
class CustomColPaliModel(ColPaliModel):
...
def from_index(
...
instance._load_index_with_mmap(index_path)
return instance
}
...
def _load_index_with_mmap(self, index_path: Path):
...
loaded_tensor = torch.load(file, map_location=map_location, mmap=True)
...
If you are using Apple Silicon do NOT use 'mps' when loading the index. Only 'cpu'. mmap does not work otherwise.
- Ngôn ngữ chính
- Python
- Star
- 851
- Fork
- 91
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của AnswerDotAI/byaldi
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
AnswerDotAI/byaldi#95 ·
-
How to Load Locally Downloaded Models (vidore/colqwen2-v1.0-hf or vidore/colqwen2-v1.0) in byaldi?Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
AnswerDotAI/byaldi#94 · 2 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
AnswerDotAI/byaldi#93 · 2 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
AnswerDotAI/byaldi#92 ·
-
VectorDB IntegrationĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
AnswerDotAI/byaldi#91 ·
Tất cả issue của AnswerDotAI/byaldi
Issue tương tự
-
The changelog workflow excludes otelbot but not dependabot, so every Dependabot pull request fails the changelog checkCó thể đã có người làm @ocelotl đã nhận hôm nay. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
open-telemetry/opentelemetry-python#5825 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
cuga-project/cuga-agent#1020 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 70/100
microsoft/playwright#43640 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
stac-utils/stac-fastapi-elasticsearch-opensearch#965 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày