GLiClass: large separate-label-group requests can wait minutes in the queue under mixed load

Đang mở
#390 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
18/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
backend

Hướng nghiên cứu

Start with how separate-group extract requests are split into rows and scheduled in the server's batcher and queue, which the issue does not name by file. Reproduce with mixed extract traffic at concurrency 16, including some 7–8 label-group requests over 20+ long items, and measure queue wait versus GPU time. Done means identifying where the wait occurs and whether a per-request timeout or cancellation reaches the caller.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Seen while benchmarking GLiClass (knowledgator/gliclass-large-v1.0) on one L4 with 16 requests in flight and mixed extract traffic: in each 4-minute window, 3 to 6 requests timed out at the client's 300 s limit.

All of them used separately encoded label groups (7 or 8 groups) over many long items. Their GPU work should take a few seconds, so the time seems to be spent waiting in the server's queue or batcher, not in inference. It happened the same way with CUDA graphs on (#389) and with the previous runner, so it is not graph-related.

To investigate:

  • How separate-group requests are split into rows and scheduled. Can a large multi-group request starve, or be starved behind, smaller requests? Is there a fairness or ordering issue in the batcher?
  • Whether any per-request timeout or cancellation surfaces the wait to the caller.
  • Reproduce: mixed extract traffic at concurrency 16, with some requests of 7 or 8 separate label groups over 20+ long items.
Ngôn ngữ chính
Python
Star
3.5k
Fork
328
Merge trung bình
16 giờ 25 phút
Pull request đã merge (30 ngày)
121

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của superlinked/sie

Tất cả issue của superlinked/sie

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.