Composer_dags.py script (pause & unpause dags) is taking hours to finish
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
In which file did you encounter the issue?
composer/tools/composer_dags.py
Did you change the file? If so, how?
No change
Describe the issue
I run the script for the environment of 500 dags. It is extremely slow, it takes more than 1-2min to do this for each dag. I has taken almost entire day and not yet finished. Is there a better way to batch those requests and pause multiple dags at once?
This has to be done before the snapshot can be created.
Example logs:
2023-10-25 15:49:30,718 - Executing shell command: CLOUDSDK_API_ENDPOINT_OVERRIDES_COMPOSER=https://composer.googleapis.com/ gcloud composer environments run composer-dev --project=whejna-dataops --location=europe-west3 dags pause -- export_task_reschedule_v1_0
Executing the command: [ airflow dags pause export_task_reschedule_v1_0 ]...
Command has been started. execution_id=3fa888b4-7cf4-4c0e-ab07-c54cccda24ac
Use ctrl-c to interrupt the command
2023-10-25 15:51:07,371 - Dag: export_task_reschedule_v1_0, paused: True
Thanks
- Langage dominant
- Jupyter Notebook
- Étoiles
- 8.1k
- Forks
- 6.7k
- Merge moyen
- 4 j 4 h
- PR mergées (30 j)
- 8
Préparer son environnement
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de GoogleCloudPlatform/python-docs-samples
-
samples
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
GoogleCloudPlatform/python-docs-samples#14609 ·
Les mainteneurs répondent en général sous 1 jour
-
samples
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
GoogleCloudPlatform/python-docs-samples#14610 ·
Les mainteneurs répondent en général sous 1 jour
-
samples
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
GoogleCloudPlatform/python-docs-samples#14611 ·
Les mainteneurs répondent en général sous 1 jour
-
chore(generative_ai) Update model references for generative_ai samplesPeut-être à nouveau libre @XrossFox l’a pris il y a 151 jours, et aucune pull request n’est ouverte. Ouvertesamples
GoogleCloudPlatform/python-docs-samples#14117 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Fix Pipeline dependency issues for geospatial-classification/serving_appPeut-être à nouveau libre @XrossFox l’a pris il y a 163 jours, et aucune pull request n’est ouverte. Ouvertesamples
GoogleCloudPlatform/python-docs-samples#14091 · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de GoogleCloudPlatform/python-docs-samples