SSRF-guarded page fetcher
メンテナーはふだん 1 日以内に返信
関連するプルリクエストがすでにマージされています。
- #59 @DigiBanks99 による — マージ済み
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 45/100
調査の方向性
Implement a fetcher using HttpClient to retrieve html and convert to markdown with SSRF guards in address classification. Add unit tests with a substituted HttpMessageHandler as specified. Wait for #34, then locate the batch processing service to surface content on the Topics page.
索引モデルが issue の本文から書いたものです。
説明
Parent
#21
What to build
Each result in a pending batch is fetched and reduced to its main content as markdown, so triage sees the article rather than the page chrome. The fetcher can never be used to reach services on the VM.
Acceptance criteria
-
HttpClientfetch, Readability-style main-content extraction, HTML-to-markdown conversion, truncated to a configurable token budget - DNS resolved and loopback, private, link-local and metadata addresses refused, re-checked on every redirect
- Size, time and content-type limits; descriptive user agent; robots.txt respected; per-domain politeness delay
- Fetch failures are recorded on the result and don't fail the batch
- Fetched content visible for pending batches on the Topics page
- Unit tests through a substituted
HttpMessageHandlercover extraction, limits and redirect-to-private refusal; address classification tested directly
Blocked by
- #34
- 主要言語
- C#
- スター
- 0
- フォーク
- 0
- 平均マージ
- 1時間 7分
- マージ済み PR（30日）
- 69
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
DigiBanks99/knowledge-base のほかの issue
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
DigiBanks99/knowledge-base#75 ·
メンテナーはふだん 1 日以内に返信
DigiBanks99/knowledge-base の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
RicoSuter/Namotion.Interceptor#918 ·
メンテナーはふだん 1 日以内に返信
-
area-integrations
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 2 日以内に返信
-
Sample solution restore fails with NU1109 (Microsoft.Extensions.Logging.Abstractions downgrade)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
ardalis/CleanArchitecture#1150 ·
メンテナーはふだん 1 日以内に返信