gocolly/colly

[Feature Request] InMemoryStorage supports TTL for visited URLs

Ouverte

#136 ouverte le 9 mai 2018

Voir sur GitHubGuide contributeur
 (1 commentaire) (1 réaction) (0 personne assignée)Go (1 857 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (25 459 étoiles)
Métriques de merge PR
 (Merge moyen 15h 38m) (2 PRs mergées en 30 j)

Description

type InMemoryStorage struct {
  // TTL
  visitedURLsTTL time.Duration
}

I think handling TTL for visited URLs internally is quite useful, and we can make redisstorage to support TTL as well. @asciimoo WDYT

Guide contributeur

Direction de recherche
Explorez la structure InMemoryStorage et ses methodes dans le code source de colly. Ajoutez un champ TTL et modifiez la logique de verification des URL visitees pour faire expirer les entrees apres le TTL. Envisagez egalement un support similaire pour RedisStorage.
Stack technique
go
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70