Support for asyncio based workers

Đang mở
#167 1 bình luận 3 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
28/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
backend, distributed-systems, performance

Hướng nghiên cứu

Bắt đầu bằng việc xem xét triển khai multiprocessing worker hiện tại và đường dẫn thực thi tác vụ bị chặn của nó. Trước khi viết mã, hãy làm rõ mô hình process và event loop mong muốn với asyncio/threaded, mục tiêu hiệu năng và các tiêu chí chấp nhận; hiện tại, issue mô tả một cuộc thảo luận về thiết kế thay vì một thay đổi có phạm vi rõ ràng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

The current worker implementation model uses multiprocessing for parallel execution but each process blocks on task execution (though it might be waiting on I/O). Is there a possibility to use asyncio/threaded approach to alleviate this problem and think of a model where processes could be used for parallelization (using multiple cores) and each process has an event loop/ThreadPool to poll and execute tasks to maximize performance on each core ?

I'd be happy to discuss more on this and submit a PR if required as well. Thanks for all the awesome work so far 👍

Ngôn ngữ chính
Python
Star
104
Fork
43
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
4

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của conductor-oss/python-sdk

Tất cả issue của conductor-oss/python-sdk

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.