turicas/brasil.io

Coletar dados automaticamente

Open

#86 aperta il 6 giu 2018

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Python (150 fork)github user discovery
dataenhancementhelp wanted

Metriche repository

Star
 (1032 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Pré-requisito: #85.

A etapa final para que os dados de todos os datasets sejam coletados automaticamente será criar um ambiente no backend que agenda e executa tarefas.

Tarefas (ainda necessita de melhor detalhamento):

  • Criar versão inicial de script que executará os crawlers (data-worker)
  • Testar script acima nos datasets já libertados (e adequar datasets ao padrão)
  • Alterar modelos Django para incluir metadados sobre a execução da tarefa
  • Implementar/configurar agendador de tarefas (Celery?)
  • Criar worker para rodar o script e atualizar a plataforma com os novos dados

Guida contributor

Direzione di ricerca
Configura Celery con Django, crea un'attività periodica per eseguire lo script data worker, aggiorna i modelli Django per memorizzare i metadati di esecuzione e assicurati che il worker aggiorni la piattaforma con i nuovi dati.
Tech stack
pythondjango
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonDjangoGitCelery basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35