Adaptative URL filter to normalize URLs based on canonical tag
维护者通常 1 天内回复
评估
调研方向
首先查看 issue 提案，并将 clean-param 扩展与链接的 Google 研究论文进行比较。然后找到 crawler 的 URL 过滤和 canonical 标签处理入口；当自适应过滤器能够根据 canonical 标签确定哪些 URL 参数可以安全移除时，这项工作就完成了。
由索引模型根据 Issue 内容生成。
描述
Such a filter could compare the parameters of a URL with the canonical tag found in the page (if any) and determine after a while which parameters can be safely removed in order to normalise the URL.
The aim is similar to the clean-param extension of the robots protocol by Yandex where sites can specify how URLs can be normalised.
TODO compare with [research.google.com/pubs/archive/35210.pdf]
- 主要语言
- Java
- 星标
- 1k
- 派生
- 295
- 平均合并
- 1 天 15 小时
- 30 天内合并 PR
- 71
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/stormcrawler 的其他 Issue
-
URLNormalizer The query is split on `;` as well as `&`, which rewrites URLs可能已有人在做 @jnioche 于 28 天前认领。 未关闭bug
apache/stormcrawler#2199 · 已指派 1 人 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 70/100
apache/stormcrawler#2131 ·
维护者通常 1 天内回复
-
[Improvement] Work towards Maven 4 Compatibility可能已有人在做 @mvolikas 于 353 天前认领。 未关闭good first issue help wanted
apache/stormcrawler#1662 · 2 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Delete redirected pages可能重新可做 @tomatotomata 于 86 天前认领，目前没有进行中的 PR。 未关闭core good first issue
难度 4/5 3-5 天 新手友好度 48/100
apache/stormcrawler#994 · 3 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Normalise HTTP headers可能重新可做 关联的 PR 已关闭且未合并。 未关闭core fetcher good first issue help wanted
难度 3/5 1-2 天 新手友好度 38/100
apache/stormcrawler#108 · 2 条评论 ·
维护者通常 1 天内回复
查看 apache/stormcrawler 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 68/100
strimzi/strimzi-kafka-operator#13328 · 1 条评论 · 3 个 reaction ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 67/100
OpenLiberty/ci.maven#2137 ·
维护者通常 1 天内回复
-
Payer adjustment can exceed the balance left after copay and deductible, so claim payments add up to more than the charge可能已有人在做 @DG47 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 79/100
synthetichealth/synthea#1772 ·
维护者通常 13 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
geonetwork/core-geonetwork#9592 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
NationalSecurityAgency/ghidra#10040 ·
维护者通常 2 天内回复