Find a scalable way to archive reference URLS
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
阅读 issue 1724 及其链接的评论，然后检查 AdvisoryReference 模型和现有的参考 URL 收集流程。根据所述速率限制，评估 web.archive.org 的 Save Page Now endpoint 和 waybackpy 的 save_api.py；完成标准是达成一个可扩展的归档方案，并明确决定是否存储 archive_url。
由索引模型根据 Issue 内容生成。
描述
As originally posted by @ziadhany in this issue, we now have a way to collect reference URLs, but there are issue with doing it at scale, including rate limiting:
I think we should use web.archive.org to store archive URLs via their "Save Page Now" endpoint
https://web.archive.org/save/<url>https://github.com/akamhy/waybackpy/blob/master/waybackpy/save_api.py.
Since our URLs are stored in AdvisoryReference, we could add a new fieldarchive_urlto that model.One major constraint is the rate limit of 15 requests per minute. With 250,000 URLs to process, the initial run would take about 11.5 days:
250,000 / (15 * 60 * 24) = 11.57 days
@ziadhany is reaching out to archive.org to find better and improved ways to archive at scale.
- 主要语言
- Python
- 星标
- 716
- 派生
- 347
- 平均合并
- 13 小时 47 分钟
- 30 天内合并 PR
- 8
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
aboutcode-org/vulnerablecode 的其他 Issue
-
OSV parser drops all crates.io affected entries because the ecosystem mapping uses cargo可能已有人在做 @Ashutosh-Panda2004 于 3 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
aboutcode-org/vulnerablecode#2485 · 1 条评论 ·
维护者通常 1 天内回复
-
Docker Compose setup fails on wait-for-it host web:8000 and missing runtime .env可能已有人在做 @Anurag-S1ngh 于 6 天前认领。 未关闭
难度 2/5 半天 新手友好度 77/100
aboutcode-org/vulnerablecode#2477 · 1 条评论 ·
维护者通常 1 天内回复
-
OVAL parser corrupts version bounds when the epoch is 10, 20 or the version contains "0:"可能已有人在做 @Ashutosh-Panda2004 于 4 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
aboutcode-org/vulnerablecode#2474 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 86/100
aboutcode-org/vulnerablecode#2426 ·
维护者通常 1 天内回复
-
Get NuGet package versions from federated PURL version data in https://github.com/aboutcode-data/可能重新可做 @Anshi321 于 26 天前认领，目前没有进行中的 PR。 未关闭bug data-quality
难度 2/5 1-3 小时 新手友好度 72/100
aboutcode-org/vulnerablecode#2418 · 4 条评论 ·
维护者通常 1 天内回复
查看 aboutcode-org/vulnerablecode 的全部 Issue
相似的 Issue
-
getchaintips leaves out the active tip once a header is staged on it, where Core always lists it未关闭
难度 2/5 1-3 小时 新手友好度 88/100
btclib-org/btclib-node#2158 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 85/100
dbt-msft/dbt-sqlserver#897 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 65/100
Gathin23/cleanyourtv#2770 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
vllm-project/vllm#64845 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 84/100
dekobon/big-code-analysis#1729 ·
维护者通常 1 天内回复