dataenhancementhelp wanted
仓库指标
- Star
- (1,032 star)
- PR 合并指标
- (PR 指标待抓取)
描述
Pré-requisito: #85.
A etapa final para que os dados de todos os datasets sejam coletados automaticamente será criar um ambiente no backend que agenda e executa tarefas.
Tarefas (ainda necessita de melhor detalhamento):
- Criar versão inicial de script que executará os crawlers (data-worker)
- Testar script acima nos datasets já libertados (e adequar datasets ao padrão)
- Alterar modelos Django para incluir metadados sobre a execução da tarefa
- Implementar/configurar agendador de tarefas (Celery?)
- Criar worker para rodar o script e atualizar a plataforma com os novos dados