SSRF-guarded page fetcher

Đã đóng
  • Có gì không ổn?
#35 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Một pull request liên quan đã được merge.

  • #59 của @DigiBanks99 — đã merge

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
csharp
Lĩnh vực
backend, security

Hướng nghiên cứu

Implement a fetcher using HttpClient to retrieve html and convert to markdown with SSRF guards in address classification. Add unit tests with a substituted HttpMessageHandler as specified. Wait for #34, then locate the batch processing service to surface content on the Topics page.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement ready-for-agent

Parent

#21

What to build

Each result in a pending batch is fetched and reduced to its main content as markdown, so triage sees the article rather than the page chrome. The fetcher can never be used to reach services on the VM.

Acceptance criteria

  • HttpClient fetch, Readability-style main-content extraction, HTML-to-markdown conversion, truncated to a configurable token budget
  • DNS resolved and loopback, private, link-local and metadata addresses refused, re-checked on every redirect
  • Size, time and content-type limits; descriptive user agent; robots.txt respected; per-domain politeness delay
  • Fetch failures are recorded on the result and don't fail the batch
  • Fetched content visible for pending batches on the Topics page
  • Unit tests through a substituted HttpMessageHandler cover extraction, limits and redirect-to-private refusal; address classification tested directly

Blocked by

  • #34
Ngôn ngữ chính
C#
Star
0
Fork
0
Merge trung bình
1 giờ 7 phút
Pull request đã merge (30 ngày)
69

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của DigiBanks99/knowledge-base

Tất cả issue của DigiBanks99/knowledge-base

Issue tương tự

Thêm issue về C#

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.