Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Find a scalable way to archive reference URLS

Đang mở
  • Có gì không ổn?
#2,303 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
backend, database

Hướng nghiên cứu

Đọc issue 1724 và bình luận được liên kết với issue đó, sau đó kiểm tra model AdvisoryReference và luồng thu thập URL tham chiếu hiện có. Đánh giá endpoint Save Page Now của web.archive.org và save_api.py của waybackpy theo rate limit đã nêu; được xem là hoàn tất khi đã thống nhất một phương án lưu trữ có khả năng mở rộng và có quyết định rõ ràng về việc có lưu archive_url hay không.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

As originally posted by @ziadhany in this issue, we now have a way to collect reference URLs, but there are issue with doing it at scale, including rate limiting:

I think we should use web.archive.org to store archive URLs via their "Save Page Now" endpoint https://web.archive.org/save/<url>

https://github.com/akamhy/waybackpy/blob/master/waybackpy/save_api.py.
Since our URLs are stored in AdvisoryReference, we could add a new field archive_url to that model.

One major constraint is the rate limit of 15 requests per minute. With 250,000 URLs to process, the initial run would take about 11.5 days:

250,000 / (15 * 60 * 24) = 11.57 days

@ziadhany is reaching out to archive.org to find better and improved ways to archive at scale.

Ngôn ngữ chính
Python
Star
716
Fork
347
Merge trung bình
12 giờ 15 phút
Pull request đã merge (30 ngày)
9

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của aboutcode-org/vulnerablecode

Tất cả issue của aboutcode-org/vulnerablecode

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.