ContentTypeFilter rejects every URL that carries a query string or fragment
Maintainer thường phản hồi trong vòng 1 ngày
Đánh giá
- Độ khó
- 1/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 25/100
Hướng nghiên cứu
Start with ContentTypeFilter._extract_extension in crawl4ai/deep_crawling/filters.py, and compare it with how URLPatternFilter uses urlparse(url).path. Strip the fragment and query before splitting the extension, then check that page.html?v=2 and page.html#section report html while extensionless URLs stay allowed. Done means regression tests cover these cases. Open PR #2555 already targets this, so coordinate with it before starting.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Description
ContentTypeFilter._extract_extension() reads the extension from the raw URL, so a query string or fragment becomes part of it:
from crawl4ai.deep_crawling.filters import ContentTypeFilter
f = ContentTypeFilter(allowed_types=["text/html"])
f.apply("https://example.com/page.html") # True
f.apply("https://example.com/page.html?v=2") # False (extension parsed as "html?v=2")
f.apply("https://example.com/page.html#section") # False
Any allowed HTML page reachable only through a query string (pagination, ?utm_* links, anchors) is therefore filtered out during deep crawling. URLPatternFilter already parses urlparse(url).path, so this looks like a miss in _extract_extension rather than intended behaviour.
Expected behaviour
Strip #... and ?... before splitting the path, so page.html?v=2 reports html. URLs without an extension should stay allowed, as they are today. I will open a small PR with regression tests.
- Ngôn ngữ chính
- Python
- Star
- 87.2k
- Fork
- 9.1k
- Merge trung bình
- 1 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 25
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackCó thể đã có người làm @HhH666-ux đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở🐞 Bug 📌 Root caused
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
unclecode/crawl4ai#2494 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresĐang mở⚙ Done ✨ Enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
Maintainer thường phản hồi trong vòng 1 ngày
-
⚙ Done 🐞 Bug 📌 Root caused
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaĐang mở⚙ Done 🐞 Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
unclecode/crawl4ai#2469 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của unclecode/crawl4ai
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
521xueweihan/HelloGitHub#4385 ·
-
🐛 bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pdm-project/pdm#4012 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
pollen-robotics/reachy_mini_conversation_app#611 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 91/100
aws-samples/sample-per-model-bedrock#913 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
lesson-submission pending-review
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
Ikalus1988/MisakaNet#5115 ·
Maintainer thường phản hồi trong vòng 1 ngày