kedro-org/kedro

Improve `%load_node` for node that doesn't have persisted dataset

Aberta

#4.169 aberto em 16 de set. de 2024

Ver no GitHubGuia do colaborador
 (2 comentários) (0 reação) (1 responsável)Python (864 forks)batch import
HacktoberfestIssue: Feature Request

Métricas do repositório

Stars
 (9.146 estrelas)
Métricas de merge de PR
 (Mesclagem média 8d 11h) (30 fundiu PRs em 30d)

Description

Description

Originated from https://github.com/kedro-org/vscode-kedro/issues/140

%load_node works great but it doesn't work on MemoryDataset, I don't save every node and it's not easy to figure out which nodes I need to run again to produce the data

Context

  • This is much more powerful because not every node has persisted data and this limited the usage of the feature.
  • This enable much more powerful slicing feature in kedro-viz, which is currently limited because we do not want the slicing generate a command that Kedro does not know how to run.
  • Same as above, if we are able to support more flexible slicing, we may end up expanding the API of kedro run as well since we can support different combinations of slicing

Possible Implementation

Check out the suggest_resume_scanerio in SequentialRunner: https://github.com/kedro-org/kedro/blob/91765e3e70f8a4ba7ef3931a7855aed0ec97eb82/kedro/runner/runner.py#L200-L210

This roughly has the logic to resume pipeline but it's hidden in a private API, we need to surface this for more generic usage.

Guia do colaborador

Direção de pesquisa
Examine o método `suggest resume scenario` no `SequentialRunner` e seu uso na lógica de retomada de pipeline. Em seguida, implemente uma função genérica que possa ser usada por `%load node` para lidar com nós sem conjuntos de dados persistidos.
Pilha de tecnologia
python
Domain
backenddata engineering
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60