Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Lend part of a card from a running engine and get it back, without a park or a reload

Đang mở
  • Có gì không ổn?
#189 23 bình luận 1 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@T-Crypt đang làm issue này rồi.

Từ ngày 23/10/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

Project home: https://github.com/TacoTakumi/vram-lend

My setup

  • Ubuntu 24.04, NVIDIA driver 610.43.02, CUDA 13.
  • 2x RTX 3090 (24 GB), 1x RTX 5060 Ti (16 GB) and 2x RTX 4060 Ti (16 GB). 96 GB of VRAM, 128 GB RAM.
  • llama-swap serves everything. Most models run on llama.cpp. GLM-5.3-Flash and DeepSeek V4.1 Flash run on Project Maya, Qwen 3.8 Flash Next runs on Strata.
  • Right now Maya runs GLM-5.3-Flash and DSV41 as three llama-swap entries, on 2, 3 or 5 cards.
  • ComfyUI runs under llama-swap on the 5060 Ti.
  • VoiceManager runs on a 4060 Ti.

What I want to do

When I want ComfyUI or a voice model, I switch Maya from the 5 card entry to the 2 or 3 card entry. The model reloads and I lose the session cache. When I am done I switch back and it reloads again.

Maya keeps the experts in system RAM and a cache of them on the cards. It can already give part of that cache away inside its own process. The vision encoder starts only when a picture arrives, in VRAM that the model lends from its expert cache. I want the same thing between processes. Maya drops part of its cache on one card and keeps serving, only slower. ComfyUI or the voice model uses that memory. When the borrower is done, Maya takes the memory back and fills its cache again.

So the engine does not stop. It lends N MiB on one named card and gets it back later. Park is all or nothing and needs-mib is fixed at the grant, so neither covers this. It is close to the fit and scenes item on your roadmap, but here the holder keeps running.

Questions

  1. Would you take a lease that its holder can shrink and grow while it serves? The flow I have in mind:
  • A borrower asks for N MiB on card X.
  • Berth asks the holder to give back N MiB on card X.
  • The holder answers when the memory is free. Berth checks the driver read, as it does for a release now.
  • Berth grants the borrower a sized lease.
  • When the borrower ends, Berth tells the holder it can take the memory back.
  1. Should this go in the park protocol? Something like this would work for Maya and Strata:
POST /berth/lend    {"card": "0000:05:00.0", "mib": 8192}  -> 200 when the memory is free, 409 if the engine cannot give that much
POST /berth/return  {"card": "0000:05:00.0"}               -> 200 when the engine holds it again
GET  /berth/state   -> {"state": "hot", "lent": {"0000:05:00.0": 8192}}

  1. My model holds five cards and lends from one of them. Will the v0.4 lease table let one lease cover several cards, with a size for each card?

  2. I will build this in my own forks of Berth, Maya and Strata. If the shape fits where Berth is going, would you take the Berth side back as a PR?

Thanks!

Ngôn ngữ chính
Go
Star
226
Fork
20
Merge trung bình
43 phút
Pull request đã merge (30 ngày)
192

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của T-Crypt/berth

Tất cả issue của T-Crypt/berth

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.