afeld/tangle

recursively scan all pages under the given path

Open

#4 aperta il 7 giu 2016

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Go (0 fork)github user discovery
enhancementhelp wanted

Metriche repository

Star
 (1 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Suppose http://example.com/ has two sub-pages besides the root: http://example.com/foo and http://example.com/bar/baz. If the URL given is http://example.com, all three pages should be scanned. If the URL given is http://example.com/foo, only that and http://example.com/bar/baz should all be scanned, not http://example.com/.

This should probably be a flag, but not sure if scanning recursively should be the default or not.

Guida contributor

Direzione di ricerca
Implementa la scansione ricorsiva aggiungendo un flag ` recursive`. Quando attivato, dopo aver scansionato una pagina, estrai tutti i link interni e scansionali ricorsivamente, rispettando il percorso base dato. Assicurati di non duplicare le scansioni mantenendo un insieme di visitati.
Tech stack
go
Dominio
backendtooling
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GoHTML parsing
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65