[Feature]: Harden FileSystemSerDes publication and reference validation
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- backend, distributed-systems
Hướng nghiên cứu
Bắt đầu từ FileSystemSerDes và giá trị bên trong SerDes đã được cấu hình, sau đó so sánh với công việc về filesystem SerDes của Java SDK trong aws/aws-durable-execution-sdk-java#648. Xem xét phạm vi hỗ trợ cloud được theo dõi trong #527 cho việc xuất bản bất biến và các kịch bản về quyền sở hữu/tính toàn vẹn. Được xem là hoàn tất khi có các envelope có phiên bản và được ràng buộc với chủ sở hữu, các lần đọc bất biến an toàn và được kiểm tra tính toàn vẹn, khả năng tương thích legacy, các mode được giữ nguyên, việc tái tuần tự hóa exception và tài liệu về vòng đời.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
What would you like?
Harden FileSystemSerDes so checkpoint file references remain immutable, integrity-checked, and bound to the durable payload that produced them.
The current implementation writes to a deterministic <operation_id>.json path using "w" and stores an unversioned {"file": ...} envelope. A later serialization for the same operation can overwrite content referenced by an older checkpoint, and deserialization trusts the file path carried in the envelope.
The desired behavior is:
- publish each file payload immutably so an existing checkpoint never observes replaced content;
- use a versioned, self-identifying filesystem envelope;
- bind the envelope to its durable execution and entity identity;
- verify file integrity and path safety before reading;
- retain
ALWAYS,OVERFLOW, preview, URI, and hash modes.
Possible Implementation
- Serialize the configured value SerDes once, compute a SHA-256 digest, and create a unique payload file with exclusive-create semantics.
- Include an envelope marker/version, owner durable execution ARN, owner entity/operation ID, payload type, file path, and content digest.
- On deserialization, validate the recognized envelope, expected execution directory and filename, base-path containment, symbolic links, owner rules, and content digest.
- Define explicit rules for safe cross-execution references such as invocation input/results. When an exception is forwarded through a child context, deserialize and reserialize it under the new owner rather than copying an owner-bound file envelope.
- Preserve compatibility by continuing to read the existing legacy envelope format for an appropriate migration period.
- Document storage lifecycle guidance because immutable payload publication can create orphaned files after checkpoint replacement.
- Extend the cloud coverage tracked by #527 with immutable publication and ownership/integrity scenarios.
Is this a breaking change?
No. Existing constructors and configuration should remain compatible, and legacy envelopes can continue to be readable.
Does this require an RFC?
Yes.
Additional Context
The Java SDK filesystem SerDes work in aws/aws-durable-execution-sdk-java#648 uses immutable publication, versioned ownership metadata, content hashes, containment checks, and symbolic-link rejection. This issue requests equivalent guarantees adapted to Python's synchronous SerDes[Any] and configurable inner value SerDes.
- Ngôn ngữ chính
- Python
- Star
- 59
- Fork
- 32
- Merge trung bình
- 1 ngày 5 giờ
- Pull request đã merge (30 ngày)
- 76
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của aws/aws-durable-execution-sdk-python
-
needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
aws/aws-durable-execution-sdk-python#977 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[AgentCore session] Remove the unused session timeoutCó thể đã có người làm @srivilliamsai đã nhận hôm nay. Đang mởneeds-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
aws/aws-durable-execution-sdk-python#970 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
aws/aws-durable-execution-sdk-python#952 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[AgentCore session] W4: Document sessions in the worker READMECó thể đã có người làm @ParidelPooya đã nhận 3 ngày trước. Đang mởenhancement needs-triage
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 76/100
aws/aws-durable-execution-sdk-python#950 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[AgentCore session] W3: Add the session ID and job count to worker logsCó thể đã có người làm @ParidelPooya đã nhận 3 ngày trước. Đang mởenhancement needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
aws/aws-durable-execution-sdk-python#949 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của aws/aws-durable-execution-sdk-python
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Unused loot bag group names left in dreamcraft en_US.langCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởStatus: Triage Suggestion
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug frontend sev-5
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
-
core good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
b4b code health next
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ESCOMP/CTSM#4330 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày