ENH: Preserve greedy execution with provisional tasks
Maintainer antworten meist innerhalb von 4 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 45/100
Rechercherichtung
Read provisional.py and provisional_utils.py to trace provisional task collection, identity validation, recreate_dag, and scheduler rebuilding. Define the transaction boundary and failure path so an error preserves the old DAG and scheduler while execution continues with that DAG.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Is your feature request related to a problem?
When provisional task creation fails, a new DAG cannot be created and therefore execution cannot continue. The pytask session will stop.
Relevant paths include:
- provisional.py: failures while collecting generated tasks, running pytask_collect_modify_tasks, or validating task identities.
- provisional_utils.py: failures in recreate_dag, including dependency resolution, cycle detection, duplicate products, or scheduler rebuilding.
- recreate_dag also assigns session.dag before rebuilding the scheduler. If scheduler rebuilding fails, the session may contain a new DAG paired with an old scheduler.
Describe the solution you'd like
A better behavior would be to handle the whole process like a transaction and when any of the steps of registering these new provisional tasks fails, they are collected as an execution error and execution continues with the old DAG.
- Vorherrschende Sprache
- Python
- Sterne
- 146
- Forks
- 14
- Ø Merge
- 3 T. 17 Std.
- Gemergte PRs (30 T.)
- 23
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Kein Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus pytask-dev/pytask
-
ENH: a few design ideasOffenenhancement
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100
pytask-dev/pytask#786 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 4 Tagen
-
bug
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 42/100
pytask-dev/pytask#513 · 8 Kommentare ·
Maintainer antworten meist innerhalb von 4 Tagen
-
enhancement
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
pytask-dev/pytask#503 · 1 Kommentar · 1 Reaktion ·
Maintainer antworten meist innerhalb von 4 Tagen
-
enhancement
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
pytask-dev/pytask#403 ·
Maintainer antworten meist innerhalb von 4 Tagen
-
enhancement
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
pytask-dev/pytask#320 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 4 Tagen