Design Discussion: Implementing Queueing logic to enable parallel run of index and download logics
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python, redis
- Lĩnh vực
- distributed-systems
Hướng nghiên cứu
Bắt đầu bằng việc xem xét logic lập chỉ mục và tải xuống hiện có cũng như cách Redis đang được sử dụng, mặc dù issue không nêu tên tệp hoặc điểm vào nào. Xác định thiết kế queueing để chạy song song cả hai process, bao gồm việc các tập hợp Redis có duy trì hành vi cần thiết hay không. Được xem là hoàn tất khi thiết kế đã được thống nhất và cơ chế điều phối các mục đã tải xuống cho việc lập chỉ mục mà không phát sinh các mục trùng lặp ngoài ý muốn hoặc vấn đề về thứ tự.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Problem Statement:
We are aiming to improve the system by running the index and download logics in parallel. To achieve this, we need to implement a queueing mechanism that can effectively manage these two processes.
Proposed Solution - Use Redis Sets as Queues
How it works:
Utilize a Redis set (or two sets, one for workflows and one for actions) to queue items for processing.
Download logic will insert items to these sets after it downloads it.
Index logic will pop items from these sets and index them.
Pros:
Simplicity: Easy to implement and manage.
No Duplicates: Sets prevent duplicate items by default.
Cons:
Ordering: Redis sets do not guarantee order, which could be an issue if ordering is essential.
What do you think?
- Ngôn ngữ chính
- Python
- Star
- 748
- Fork
- 46
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của CycodeLabs/raven
-
`library` folder not included in the source distributionCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởquery-library
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
CycodeLabs/raven#183 · 2 bình luận ·
-
报错Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 15/100
CycodeLabs/raven#199 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
CycodeLabs/raven#188 · 2 bình luận · 1 reaction ·
-
feature
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
CycodeLabs/raven#119 · 6 bình luận ·
-
feature indexer
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
CycodeLabs/raven#114 ·
Tất cả issue của CycodeLabs/raven
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
UKGovernmentBEIS/inspect_ai#5781 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Bump .cicd to wamp-cicd 4c2f9ac: `just land` refuses open A18 decisions, `just where` lists themĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
crossbario/cfxdb#139 ·
-
Bump .cicd to wamp-cicd 4c2f9ac: `just land` refuses open A18 decisions, `just where` lists themĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 84/100
crossbario/txaio#241 ·
-
UX
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
mediajunkie/piper-morgan-product#1963 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 64/100