Adaptative URL filter to normalize URLs based on canonical tag
メンテナーはふだん 1 日以内に返信
評価
調査の方向性
まず issue の提案を確認し、clean-param 拡張機能とリンクされている Google の研究論文を比較します。次に、クローラーの URL フィルタリングと canonical タグ処理のエントリーポイントを特定します。canonical タグに基づいて安全に削除できる URL パラメータを適応型フィルターが判断できるようになれば、作業は完了です。
索引モデルが issue の本文から書いたものです。
説明
Such a filter could compare the parameters of a URL with the canonical tag found in the page (if any) and determine after a while which parameters can be safely removed in order to normalise the URL.
The aim is similar to the clean-param extension of the robots protocol by Yandex where sites can specify how URLs can be normalised.
TODO compare with [research.google.com/pubs/archive/35210.pdf]
- 主要言語
- Java
- スター
- 1k
- フォーク
- 295
- 平均マージ
- 1日 15時間
- マージ済み PR（30日）
- 71
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/stormcrawler のほかの issue
-
URLNormalizer The query is split on `;` as well as `&`, which rewrites URLs対応中かも @jnioche が 27 日前に担当しました。 オープンbug
apache/stormcrawler#2199 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 70/100
apache/stormcrawler#2131 ·
メンテナーはふだん 1 日以内に返信
-
[Improvement] Work towards Maven 4 Compatibility対応中かも @mvolikas が 352 日前に担当しました。 オープンgood first issue help wanted
apache/stormcrawler#1662 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Delete redirected pages再び着手できるかも @tomatotomata が 85 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンcore good first issue
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
apache/stormcrawler#994 · コメント 3 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Normalise HTTP headers再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープンcore fetcher good first issue help wanted
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
apache/stormcrawler#108 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
apache/stormcrawler の issue をすべて見る
似ている issue
-
protobuf
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
FasterXML/jackson-dataformats-binary#874 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
-
[Bug][Connector-V2][JDBC] Turkish locale bypasses the SQL set-operator and complex-clause guards, rewriting the user's query対応中かも @SEPURI-SAI-KRISHNA が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 3 日以内に返信
-
[Bug report] Lance REST catalog-level DropNamespace drops non-lakehouse catalogs対応中かも @nevzheng が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
メンテナーはふだん 1 日以内に返信
-
[BUG] jackson3 JacksonJsonpMapper(ObjectMapper) fails to deserialize `_source` with "Trailing token" error対応中かも @junyeokk が今日担当しました。 オープンbug untriaged
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
opensearch-project/opensearch-java#2236 ·
メンテナーはふだん 1 日以内に返信