Model is not being offloaded from VRAM
@DebopamParam đang làm issue này rồi.
Từ ngày 14/11/2024.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Báo cáo chỉ xác định một Jupyter notebook, một vòng lặp qua các tệp và việc xử lý bộ nhớ đệm CUDA của torch; trước tiên hãy tái hiện việc thực thi ô lặp lại và kiểm tra mức sử dụng VRAM qua các lần lặp. Xác định xem mô hình có thể được giải phóng giữa các lần chạy lập chỉ mục hay không; hoàn thành bằng cách ngăn mức tăng VRAM được báo cáo hoặc ghi lại giới hạn này.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I am trying to run the model in Jupyter notebook.
- In the above iteration I haven't initialized the model.
2. Now I run the cell the model is loaded and it is showing 6GB of vram occupied right.
3. Now when I run the cell again the vram usage is doubled.
4. In the consequent runs the model is not occupying more than 12GB but what's interesting thing I have observed is when I am running that inside a loop for suppose I want to create an Index for each file I have, I don't have any other option than do this but this is causing the model to give me vram issues. How do I remove them from vram, I tried torch cuda cache free, tried to delete the variable none isn't working for me. Can you please help or is there something I am doing wrongly ?
- Ngôn ngữ chính
- Python
- Star
- 851
- Fork
- 91
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của AnswerDotAI/byaldi
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
AnswerDotAI/byaldi#95 ·
-
How to Load Locally Downloaded Models (vidore/colqwen2-v1.0-hf or vidore/colqwen2-v1.0) in byaldi?Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
AnswerDotAI/byaldi#94 · 2 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
AnswerDotAI/byaldi#93 · 2 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
AnswerDotAI/byaldi#92 ·
-
VectorDB IntegrationĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
AnswerDotAI/byaldi#91 ·
Tất cả issue của AnswerDotAI/byaldi
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
521xueweihan/HelloGitHub#4115 ·
-
get_lldp_neighbors_detail: query asks for 'max-address' (typo for 'mac-address'), so remote_chassis_id is always emptyCó thể đã có người làm @Jah-yee đã nhận hôm nay. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
-
lesson-submission pending-review
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 74/100
Ikalus1988/MisakaNet#3899 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
aws-samples/sample-per-model-bedrock#549 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100