Find a scalable way to archive reference URLS
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 30/100
調査の方向性
issue 1724 とリンクされたコメントを読み、その後 AdvisoryReference モデルと既存の参照 URL 収集フローを調査します。提示されたレート制限に照らして、web.archive.org の Save Page Now endpoint と waybackpy の save_api.py を評価します。完了とは、スケーラブルなアーカイブ方式について合意し、archive_url を保存するかどうかを明確に決定することです。
索引モデルが issue の本文から書いたものです。
説明
As originally posted by @ziadhany in this issue, we now have a way to collect reference URLs, but there are issue with doing it at scale, including rate limiting:
I think we should use web.archive.org to store archive URLs via their "Save Page Now" endpoint
https://web.archive.org/save/<url>https://github.com/akamhy/waybackpy/blob/master/waybackpy/save_api.py.
Since our URLs are stored in AdvisoryReference, we could add a new fieldarchive_urlto that model.One major constraint is the rate limit of 15 requests per minute. With 250,000 URLs to process, the initial run would take about 11.5 days:
250,000 / (15 * 60 * 24) = 11.57 days
@ziadhany is reaching out to archive.org to find better and improved ways to archive at scale.
- 主要言語
- Python
- スター
- 716
- フォーク
- 347
- 平均マージ
- 13時間 47分
- マージ済み PR（30日）
- 8
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
aboutcode-org/vulnerablecode のほかの issue
-
OSV parser drops all crates.io affected entries because the ecosystem mapping uses cargo対応中かも @Ashutosh-Panda2004 が 4 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
aboutcode-org/vulnerablecode#2485 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Docker Compose setup fails on wait-for-it host web:8000 and missing runtime .env対応中かも @Anurag-S1ngh が 7 日前に担当しました。 オープン
難易度 2/5 半日 初心者へのやさしさ 77/100
aboutcode-org/vulnerablecode#2477 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
OVAL parser corrupts version bounds when the epoch is 10, 20 or the version contains "0:"対応中かも @Ashutosh-Panda2004 が 5 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
aboutcode-org/vulnerablecode#2474 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
aboutcode-org/vulnerablecode#2426 ·
メンテナーはふだん 1 日以内に返信
-
Get NuGet package versions from federated PURL version data in https://github.com/aboutcode-data/再び着手できるかも @Anshi321 が 26 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug data-quality
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
aboutcode-org/vulnerablecode#2418 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
aboutcode-org/vulnerablecode の issue をすべて見る
似ている issue
-
ReadQwen3PaperTask5 rejects correct answers that differ only in order, case, or underscore form対応中かも @Kingpython123 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 90/100
Tongyi-MAI/MobileWorld#72 ·
-
_threads/application: Update typing annotations using `pyupgrade --py311-plus`対応中かも @gudnimg が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
Health probes return 401 when authentication is enabled and the API is served under /orb対応中かも @fgogolli が今日担当しました。 オープンarea: api priority: p2 size: S type: bug
難易度 2/5 半日 初心者へのやさしさ 75/100
finos/open-resource-broker#704 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
BCDA-APS/polar-bits#93 ·
-
bug
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
GoogleCloudPlatform/gce-rescue#218 ·
メンテナーはふだん 2 日以内に返信