apache/airflow

Support Serialized DAGs on CLI Commands

Aberta

#15.306 aberto em 9 de abr. de 2021

Ver no GitHubGuia do colaborador
 (8 comentários) (0 reação) (0 responsável)Python (16.781 forks)batch import
area:CLIgood first issuekind:featurepriority:low

Métricas do repositório

Stars
 (44.809 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Description

CLI commands such as backfill and list_dags currently parse dags before executing. This introduces 2 primary issues. 1) That parse process can be time consuming, and 2) It will not work if running on a web server that does not have access to DAGs and/or their respective Python libraries or Airflow plugins.

Use case / motivation

By providing users an option to use serialized DAGs with the Airflow CLI, users can opt for the more efficient method of executing commands based on the information available in the metadatabase rather than relying solely on parsing the source DAGs.

Are you willing to submit a PR?

Yes

Related Issues

No

Guia do colaborador

Direção de pesquisa
Estude como os DAGs serializados são usados na interface web do Airflow (por exemplo, na API REST e nas visualizações da interface). Identifique as consultas ao banco de dados de metadados e a lógica de serialização/desserialização. Em seguida, no código CLI (por exemplo, comandos backfill, list dags), adicione uma opção para usar DAGs serializados chamando os serviços apropriados em vez de analisar os arquivos DAG de origem.
Pilha de tecnologia
python
Domain
backendcli
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
AirflowCLISerialized DAGs
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55