Move transfer session FSICs to their own table
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Bắt đầu bằng việc xác định model phiên truyền, các trường JSON FSIC của nó, quá trình serialization của API và các query của thao tác xếp hàng. Xem xét commit 9f919c997b79171143e953e9f8d65f5a5c8740da cùng với các thay đổi xếp hàng gần đây. Công việc được hoàn thành khi bảng TransferSessionCounter mới và constraint tồn tại, các trường API vẫn tương thích và các query xếp hàng join với bảng đó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Background
The transfer session model tracks both client and server FSICs within JSON database fields for a directional sync. As time has gone on, these fields have begun to represent a significant amount of data. The data within these fields are then used to generate complex query filters against other tables within the database when queuing data for a sync.
Summary
As someone concerned with performance and scaling of Morango, I'd like to move these FSIC fields to a new, dedicated table, thereby reducing the size of the transfer session table (currently 200+GB). I'd like to take advantage of some performance improvements that can be made by leveraging this data directly within the database when queuing records for syncing.
Deliverables
- A new table
TransferSessionCountershould be created with fields:transfer_sessionFKinstance_idUUIDpartitionnullable text fieldserver_counternullable integerclient_counternullable integer
- The table should be have a unique constraint on
transfer_sessionandinstance_id - API endpoints should serialize the table's data into two separate
client_fsicandserver_fsicfields to maintain compatibility - Queuing operation queries should join against this new table
Notes
Some progress has been made but was done prior to several recent changes to queuing queries https://github.com/learningequality/morango/commit/9f919c997b79171143e953e9f8d65f5a5c8740da
- Ngôn ngữ chính
- Python
- Star
- 15
- Fork
- 23
- Merge trung bình
- 1 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 3
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của learningequality/morango
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 58/100
learningequality/morango#349 ·
-
Model hierarchies using self-referential non-deferrable FKs can cause deletions to fail deserializationCó thể làm lại được @bjester đã nhận 93 ngày trước và không có pull request nào đang mở. Đang mởDEV: backend P0 - critical
learningequality/morango#340 · 1 người được giao ·
-
Implement DeserializeTask and StoreModelSource for streaming deserializationCó thể làm lại được @bjester đã nhận 165 ngày trước và không có pull request nào đang mở. Đang mởDEV: backend TAG: new feature TAG: performance
learningequality/morango#317 · 1 người được giao ·
-
P1 - important
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
learningequality/morango#308 · 1 bình luận ·
-
Serialization into store does not update _self_ref_fk for existing recordsCó thể làm lại được @bjester đã nhận 93 ngày trước và không có pull request nào đang mở. Đang mởDEV: backend P0 - critical
learningequality/morango#305 · 1 người được giao ·
Tất cả issue của learningequality/morango
Issue tương tự
-
needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
openvinotoolkit/openvino_notebooks#3665 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
Maintainer thường phản hồi trong vòng 1 ngày
-
docs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
benchmark-gap
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày