turicas/brasil.io

Coletar dados automaticamente

Open

#86 创建于 2018年6月6日

在 GitHub 查看
 (4 评论) (0 反应) (0 负责人)Python (150 fork)github user discovery
dataenhancementhelp wanted

仓库指标

Star
 (1,032 star)
PR 合并指标
 (PR 指标待抓取)

描述

Pré-requisito: #85.

A etapa final para que os dados de todos os datasets sejam coletados automaticamente será criar um ambiente no backend que agenda e executa tarefas.

Tarefas (ainda necessita de melhor detalhamento):

  • Criar versão inicial de script que executará os crawlers (data-worker)
  • Testar script acima nos datasets já libertados (e adequar datasets ao padrão)
  • Alterar modelos Django para incluir metadados sobre a execução da tarefa
  • Implementar/configurar agendador de tarefas (Celery?)
  • Criar worker para rodar o script e atualizar a plataforma com os novos dados

贡献者指南