turicas/brasil.io

Criar arquivo de metadados para a plataforma

Open

#83 opened on Jun 6, 2018

View on GitHub
 (0 comments) (0 reactions) (0 assignees)Python (150 forks)github user discovery
datahelp wanted

Repository metrics

Stars
 (1,032 stars)
PR merge metrics
 (PR metrics pending)

Description

Pré-requisito: #82. Utilizaremos o formato datapackage para especificar as tabelas em cada dataset, mas precisaremos de especificações um pouco mais detalhadas para que a plataforma consiga importar os dados automaticamente, como:

  • Para cada tabela de um dataset, quais campos poderão ser utilizados nos filtros?
  • Para cada tabela de um dataset, quais campos possuem links e para onde eles vão?
  • (coloque aqui qualquer pergunta relativa a metadados que não podem ser descritos usando o datapackage mas que estão disponíveis na planilha de metadados atual)

Além disso, precisaremos responder a outras perguntas:

  • Como rodar o script (quais comandos a plataforma deverá executar depois de clonar o repositório)?
  • Após rodar o script, onde ficarão os dados de saída?
  • Com que frequência esse script deve ser executado?
  • (Talvez) O que fazer com os dados resultantes: substituir ou apenas adicionar a um dataset já existente? Essa pergunta é complexa de ser respondida, dado que alguns scripts para rodar automaticamente pegando dados parciais precisarão ser executados de forma bem personalizada.

Essa segunda parte poderá ser implementada com a ajuda de um Dockerfile.

A ideia é que essa especificação fique dentro de um arquivo no repositório do próprio script, assim, quando no futuro a plataforma rodar automaticamente os scripts, teremos todos os metadados necessários para criação automatizada das tabelas, índices etc. Caso a especificação datapackage inclua a possibilidade de adição de metadados, podemos utilizá-la, senão precisaremos especificar um arquivo em outro formato (talvez algo simples em YAML).

Tarefas:

  • Listar metadados necessários
  • Criar especificação
  • Criar repositório de exemplo, com datapackage e o arquivo de metadados

Contributor guide