gocolly/colly

[Feature Request] InMemoryStorage supports TTL for visited URLs

Aperta

#136 aperta il 9 mag 2018

Vedi su GitHubGuida contributor
 (1 commento) (1 reazione) (0 assegnatari)Go (1856 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (25.430 stelle)
Metriche merge PR
 (Merge medio 15h 38m) (2 PR mergiate in 30 g)

Descrizione

type InMemoryStorage struct {
  // TTL
  visitedURLsTTL time.Duration
}

I think handling TTL for visited URLs internally is quite useful, and we can make redisstorage to support TTL as well. @asciimoo WDYT

Guida contributor

Direzione di ricerca
Esplora la struttura InMemoryStorage e i suoi metodi nel codice sorgente di colly. Aggiungi un campo TTL e modifica la logica di controllo degli URL visitati per far scadere le voci dopo il TTL. Considera anche il supporto simile per RedisStorage.
Tech stack
go
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70