Remove dependency on httpcomponents.core5

Đã đóng
  • Có gì không ổn?
#2,266 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@rzo1 đang làm issue này rồi.

Từ ngày 25/10/2026.

  • #2270 của @rzo1 — đang mở

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
15/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
java
Lĩnh vực
backend, build-system, documentation

Hướng nghiên cứu

Start with the affected imports listed in the issue, especially BasicURLNormalizer, then inspect core/pom.xml, the root pom.xml, the archetype shade configuration, and the “Migrating to 4.0.0” docs. The issue specifies the constants and query-string behavior to preserve; review the listed main and test files across core, tika, and warc. Done means removing the dependency and exclusion, preserving query output, and documenting the migration; linked pull request #2270 is already open.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

BREAKING CHANGE core

See discussion on https://github.com/apache/stormcrawler/pull/2236/#issuecomment-6250049212

Context

After #2211, core depends only on org.apache.httpcomponents.core5:httpcore5. It uses it for HTTP header and status constants and for query-string parsing in BasicURLNormalizer. A whole library for that is not worth the dependency, and HttpComponents types in our code mean we can't change these classes in a 4.x minor release without breaking user code. 4.0.0 is the time to remove it.

What's affected

1. HttpHeaders constants

  • Main code: FeedParserBolt, JSoupParserBolt, SimpleFetcherBolt, SiteMapParserBolt, FetchOutcomes, AdaptiveScheduler, HttpRobotRulesParser, FileResponse, okhttp HttpProtocol, CharsetIdentification, plus ParserBolt (tika) and WARCRecordFormat (warc).
  • Tests: FeedParserBoltTest, JSoupParserBoltTest, SiteMapParserBoltTest, AdaptiveSchedulerTest, CharsetIdentificationTest, plus the tika and warc tests.
  • Constants used: ACCEPT, ACCEPT_LANGUAGE, AUTHORIZATION, CONTENT_LENGTH, CONTENT_TYPE, ETAG, IF_MODIFIED_SINCE, IF_NONE_MATCH, LAST_MODIFIED, LOCATION, PROXY_AUTHORIZATION, USER_AGENT.

2. HttpStatus constants

  • Used in FileResponse.
  • Constants used: SC_OK, SC_MULTIPLE_CHOICES, SC_BAD_REQUEST, SC_UNAUTHORIZED, SC_FORBIDDEN, SC_NOT_FOUND, SC_METHOD_FAILURE, SC_INTERNAL_SERVER_ERROR.

3. NameValuePair and URLEncodedUtils in BasicURLNormalizer

  • These sort the query parameters and remove the filtered ones.
  • The code calls URLEncodedUtils.parse(query, UTF_8, '&', ';') and URLEncodedUtils.format(pairs, UTF_8). That class is deprecated in httpcore5.
Actions
  1. Add StormCrawler-owned HttpHeaders and HttpStatus classes in core, for example under org.apache.stormcrawler.protocol. Each holds the constants listed above as plain public static final fields, with the same names and values as HttpCore 5. Switching to them is then an import change only.
  2. Update all the imports above in core, tika and warc, main and test code.
  3. Replace URLEncodedUtils and NameValuePair in BasicURLNormalizer with a small in-house parser and formatter. The output must stay exactly the same.
  4. Remove httpcore5 from core/pom.xml, and the httpcore5.version property from the root pom.xml if nothing else uses it.
  5. Remove the leftover <exclude>org/apache/http/**</exclude> from the archetype's shade configuration.
  6. Update the "Migrating to 4.0.0" docs. Core no longer brings in any HttpComponents classes, so users who relied on them transitively must declare the dependency themselves.
Ngôn ngữ chính
Java
Star
1k
Fork
295
Merge trung bình
1 ngày 8 giờ
Pull request đã merge (30 ngày)
70

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/stormcrawler

Tất cả issue của apache/stormcrawler

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.