[BUG] grpc server job selection algorithm can starve clients when multiple clients continuously submit
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 30/100
Hướng nghiên cứu
The issue describes job scheduling in the gRPC server but names no source files or tests. Start by locating the server’s slot selection and job dispatch code, then inspect its scheduling tests. Done when waiting jobs are served fairly under continuous submissions and the legacy REST FIFO behavior remains unaffected.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Workaround (26.10 proxy and direct gRPC in 26.08+). The server runs jobs by scanning slots from slot 0, not in arrival order. A client that submits again as soon as its job finishes can take the lowest free slot and run ahead of jobs already waiting. Those waiting jobs can stay queued while other clients complete many times.
Keep at most one job in flight per worker. Use a single submitter, or a shared lock or FIFO in your
application, and submit the next job only after the current result is retrieved. With one worker,
extra jobs sitting in the server queue do not add throughput.
A one-shot batch of at most 100 jobs is fine if nothing else is submitted until that batch finishes
. The server rejects anything beyond 100 in flight with Job queue full (HTTP 500 through the proxy,
RESOURCE_EXHAUSTED on gRPC).
The legacy REST server is unaffected: it dispatches from a FIFO.
- Ngôn ngữ chính
- Cuda
- Star
- 1.1k
- Fork
- 249
- Merge trung bình
- 1 ngày 15 giờ
- Pull request đã merge (30 ngày)
- 126
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của NVIDIA/cuopt
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 32/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 22/100
NVIDIA/cuopt#2255 · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 3/5 Nửa ngày Mức phù hợp với người mới 50/100
Maintainer thường phản hồi trong vòng 1 ngày
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
OrchardCMS/OrchardCore#20192 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
0. Needs triage 35-feedback bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
getgrav/grav-plugin-api#74 ·
-
enhancement freigegeben Haushalts-Admin
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
motom001/dms#688 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
btclib-org/btclib-wallet#667 ·
Maintainer thường phản hồi trong vòng 1 ngày