Repository metrics
- Stars
- (1,032 stars)
- PR merge metrics
- (PR metrics pending)
説明
Pré-requisito: #82. Utilizaremos o formato datapackage para especificar as tabelas em cada dataset, mas precisaremos de especificações um pouco mais detalhadas para que a plataforma consiga importar os dados automaticamente, como:
- Para cada tabela de um dataset, quais campos poderão ser utilizados nos filtros?
- Para cada tabela de um dataset, quais campos possuem links e para onde eles vão?
- (coloque aqui qualquer pergunta relativa a metadados que não podem ser descritos usando o datapackage mas que estão disponíveis na planilha de metadados atual)
Além disso, precisaremos responder a outras perguntas:
- Como rodar o script (quais comandos a plataforma deverá executar depois de clonar o repositório)?
- Após rodar o script, onde ficarão os dados de saída?
- Com que frequência esse script deve ser executado?
- (Talvez) O que fazer com os dados resultantes: substituir ou apenas adicionar a um dataset já existente? Essa pergunta é complexa de ser respondida, dado que alguns scripts para rodar automaticamente pegando dados parciais precisarão ser executados de forma bem personalizada.
Essa segunda parte poderá ser implementada com a ajuda de um Dockerfile.
A ideia é que essa especificação fique dentro de um arquivo no repositório do próprio script, assim, quando no futuro a plataforma rodar automaticamente os scripts, teremos todos os metadados necessários para criação automatizada das tabelas, índices etc. Caso a especificação datapackage inclua a possibilidade de adição de metadados, podemos utilizá-la, senão precisaremos especificar um arquivo em outro formato (talvez algo simples em YAML).
Tarefas:
- Listar metadados necessários
- Criar especificação
- Criar repositório de exemplo, com datapackage e o arquivo de metadados