Archetypes' http.content.limit cuts sitemaps, which then fail to parse
Maintainer thường phản hồi trong vòng 1 ngày
@dpol1 đang làm issue này rồi.
Từ ngày 6/11/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
The archetypes set sitemap.discovery: true and http.content.limit: 65536, and the limit applies to sitemaps too. An XML sitemap above 64 KiB is cut and fails to parse, so none of its URLs are discovered. SiteMapParserBolt marks the fetch as FETCH_ERROR and removes isSitemap, so the retry treats it as a page. sitemaps.org allows up to 50 MB.
In a 12-minute crawl of GQ32K hosts, there were 1,457 sitemap parsing failures, all on responses cut at the limit. rzo1 got 4,183 such errors in #2268. The 3.7.0 archetypes have the same settings, and there the fetch ends as ERROR. This affects the configuration shipped with the archetypes. crawler-default.yaml leaves the content size unlimited.
A higher limit in the archetypes would also apply to pages, so I suggest a separate limit for sitemaps, as we have with http.robots.content.limit and as Nutch has with sitemap.size.max. The robots.txt limit goes through the per-URL http.content.limit metadata. Sitemaps found in robots.txt or in a sitemap index already carry isSitemap=true before their fetch, so a sitemap limit could work the same way. A redirect target doesn't carry it, and neither does the retry after a parsing failure, so the limit would have to cover those too.
- Ngôn ngữ chính
- Java
- Star
- 1k
- Fork
- 297
- Merge trung bình
- 1 ngày 11 giờ
- Pull request đã merge (30 ngày)
- 61
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/stormcrawler
-
bug
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
apache/stormcrawler#2304 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
FetchItemQueues removes empty queues, which skips the politeness delayCó thể đã có người làm @GGraziadei đã nhận 1 ngày trước. Đang mởbug
apache/stormcrawler#2303 · 2 bình luận · 2 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Improvement] Work towards Maven 4 CompatibilityCó thể đã có người làm @mvolikas đã nhận 365 ngày trước. Đang mởgood first issue help wanted
apache/stormcrawler#1662 · 2 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Delete redirected pagesCó thể làm lại được @tomatotomata đã nhận 97 ngày trước và không có pull request nào đang mở. Đang mởcore good first issue
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
apache/stormcrawler#994 · 5 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Normalise HTTP headersCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởcore fetcher good first issue help wanted
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 38/100
apache/stormcrawler#108 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của apache/stormcrawler
Issue tương tự
-
Document and enforce pull request review guidelinesCó thể đã có người làm @dashorst đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
`Time.at(t, in: nil)` returns UTC instead of the local time (or the time zone of `t`), unlike CRubyĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
hermes-queue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
chrisalunlloyd2-sudo/mindpalace#349 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Retry-After parser accepts invalid delay-seconds valuesCó thể đã có người làm @Dhruvraj-Rana đã nhận hôm nay. Đang mởBug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
open-telemetry/opentelemetry-java#9018 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
dropwizard-testing: DAOTest.inTransaction leaves the transaction open when an Error is thrownĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
dropwizard/dropwizard#11410 ·
Maintainer thường phản hồi trong vòng 1 ngày