[Feature]: Harden FileSystemSerDes publication and reference validation
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- python
- Domaine
- backend, distributed-systems
Piste de recherche
Commencez par FileSystemSerDes et la valeur interne SerDes configurée, puis comparez le travail sur filesystem SerDes du Java SDK dans aws/aws-durable-execution-sdk-java#648. Examinez la couverture cloud suivie dans #527 pour la publication immuable et les scénarios de propriété et d’intégrité. Le travail est terminé lorsque des enveloppes versionnées liées au propriétaire, des lectures immuables sûres et vérifiées quant à leur intégrité, la compatibilité legacy, la préservation des modes, la resérialisation des exceptions et la documentation du cycle de vie sont assurées.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
What would you like?
Harden FileSystemSerDes so checkpoint file references remain immutable, integrity-checked, and bound to the durable payload that produced them.
The current implementation writes to a deterministic <operation_id>.json path using "w" and stores an unversioned {"file": ...} envelope. A later serialization for the same operation can overwrite content referenced by an older checkpoint, and deserialization trusts the file path carried in the envelope.
The desired behavior is:
- publish each file payload immutably so an existing checkpoint never observes replaced content;
- use a versioned, self-identifying filesystem envelope;
- bind the envelope to its durable execution and entity identity;
- verify file integrity and path safety before reading;
- retain
ALWAYS,OVERFLOW, preview, URI, and hash modes.
Possible Implementation
- Serialize the configured value SerDes once, compute a SHA-256 digest, and create a unique payload file with exclusive-create semantics.
- Include an envelope marker/version, owner durable execution ARN, owner entity/operation ID, payload type, file path, and content digest.
- On deserialization, validate the recognized envelope, expected execution directory and filename, base-path containment, symbolic links, owner rules, and content digest.
- Define explicit rules for safe cross-execution references such as invocation input/results. When an exception is forwarded through a child context, deserialize and reserialize it under the new owner rather than copying an owner-bound file envelope.
- Preserve compatibility by continuing to read the existing legacy envelope format for an appropriate migration period.
- Document storage lifecycle guidance because immutable payload publication can create orphaned files after checkpoint replacement.
- Extend the cloud coverage tracked by #527 with immutable publication and ownership/integrity scenarios.
Is this a breaking change?
No. Existing constructors and configuration should remain compatible, and legacy envelopes can continue to be readable.
Does this require an RFC?
Yes.
Additional Context
The Java SDK filesystem SerDes work in aws/aws-durable-execution-sdk-java#648 uses immutable publication, versioned ownership metadata, content hashes, containment checks, and symbolic-link rejection. This issue requests equivalent guarantees adapted to Python's synchronous SerDes[Any] and configurable inner value SerDes.
- Langage dominant
- Python
- Étoiles
- 59
- Forks
- 32
- Merge moyen
- 1 j 5 h
- PR mergées (30 j)
- 76
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de aws/aws-durable-execution-sdk-python
-
needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
aws/aws-durable-execution-sdk-python#977 ·
Les mainteneurs répondent en général sous 1 jour
-
[AgentCore session] Remove the unused session timeoutPeut-être pris @srivilliamsai l’a pris aujourd’hui. Ouverteneeds-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
aws/aws-durable-execution-sdk-python#970 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
enhancement needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
aws/aws-durable-execution-sdk-python#952 ·
Les mainteneurs répondent en général sous 1 jour
-
[AgentCore session] W4: Document sessions in the worker READMEPeut-être pris @ParidelPooya l’a pris il y a 3 jours. Ouverteenhancement needs-triage
Difficulté 1/5 1-3 heures Accessibilité débutants 76/100
aws/aws-durable-execution-sdk-python#950 ·
Les mainteneurs répondent en général sous 1 jour
-
[AgentCore session] W3: Add the session ID and job count to worker logsPeut-être pris @ParidelPooya l’a pris il y a 3 jours. Ouverteenhancement needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
aws/aws-durable-execution-sdk-python#949 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de aws/aws-durable-execution-sdk-python
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 73/100
Les mainteneurs répondent en général sous 1 jour
-
Unused loot bag group names left in dreamcraft en_US.langPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. OuverteStatus: Triage Suggestion
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
Les mainteneurs répondent en général sous 1 jour
-
bug frontend sev-5
Difficulté 2/5 1-3 heures Accessibilité débutants 83/100
-
core good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
-
b4b code health next
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
ESCOMP/CTSM#4330 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour