Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Find a scalable way to archive reference URLS

Ouverte
  • Quelque chose ne va pas ?
#2,303 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
30/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
Calme
Stack technique
python
Domaine
backend, database

Piste de recherche

Lis l'issue 1724 et le commentaire qui lui est lié, puis examine le modèle AdvisoryReference et le flux existant de collecte des URLs de référence. Évalue l'endpoint Save Page Now de web.archive.org et le save_api.py de waybackpy par rapport à la limite de débit indiquée ; la tâche est terminée lorsqu'une approche d'archivage évolutive est convenue et qu'une décision claire est prise quant au stockage de archive_url.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

As originally posted by @ziadhany in this issue, we now have a way to collect reference URLs, but there are issue with doing it at scale, including rate limiting:

I think we should use web.archive.org to store archive URLs via their "Save Page Now" endpoint https://web.archive.org/save/<url>

https://github.com/akamhy/waybackpy/blob/master/waybackpy/save_api.py.
Since our URLs are stored in AdvisoryReference, we could add a new field archive_url to that model.

One major constraint is the rate limit of 15 requests per minute. With 250,000 URLs to process, the initial run would take about 11.5 days:

250,000 / (15 * 60 * 24) = 11.57 days

@ziadhany is reaching out to archive.org to find better and improved ways to archive at scale.

Langage dominant
Python
Étoiles
716
Forks
347
Merge moyen
12 h 15 min
PR mergées (30 j)
9

Préparer son environnement

  • Fournit un Dockerfile ou un fichier Docker Compose
  • Aucun modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de aboutcode-org/vulnerablecode

Toutes les issues de aboutcode-org/vulnerablecode

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.