Relative <base href> produces scheme-less extracted links
Maintainer antworten meist innerhalb von 1 Tag
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 25/100
Rechercherichtung
The relevant code is LXMLWebScrapingStrategy._process_element() in the content scraping strategy module, which reads <base href> and uses it as url without resolving it, plus the normalize_url helper it should match. Reproduce with the snippet in the issue to confirm the scheme-less /sub/page.html output. Done means relative and absolute <base href> values both yield absolute internal links. Pull request #2552 is already open against this issue, so check with the maintainers before starting.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Description
LXMLWebScrapingStrategy._process_element() reads <base href> and assigns it to url as-is. When the page declares a relative base (e.g. <base href="/sub/">), every relative link is resolved against that relative string, so the extracted links come out scheme- and host-less (/sub/page.html) even though the same document without a <base> element yields an absolute link.
Reproduction
import sys
from lxml import html as lhtml
from crawl4ai.content_scraping_strategy import LXMLWebScrapingStrategy
strategy = LXMLWebScrapingStrategy()
html = "<html><head><base href='/sub/'></head><body><a href='page.html'>Page</a></body></html>"
result = strategy.process_element("https://example.com/app/index.html", lhtml.fromstring(html))
print(list(result["internal_links_dict"]))
- Actual:
['/sub/page.html'] - Expected:
['https://example.com/sub/page.html']
Absolute <base href="https://cdn.example.com/docs/"> behaves as before.
Expected fix
Resolve the declared base against the page URL with urljoin(url, base_href) before it is used, so relative and absolute <base> values both produce absolute links. This is the same resolution normalize_url already performs when no <base> is present.
I will open a small PR with a regression test covering root-relative, document-relative, absolute and missing <base> values.
- Vorherrschende Sprache
- Python
- Sterne
- 87.2k
- Forks
- 9.1k
- Ø Merge
- 1 T. 6 Std.
- Gemergte PRs (30 T.)
- 25
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackEvtl. vergeben @HhH666-ux hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen🐞 Bug 📌 Root caused
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
unclecode/crawl4ai#2494 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresOffen⚙ Done ✨ Enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
Maintainer antworten meist innerhalb von 1 Tag
-
⚙ Done 🐞 Bug 📌 Root caused
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaOffen⚙ Done 🐞 Bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
unclecode/crawl4ai#2469 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in unclecode/crawl4ai
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 78/100
-
Needs Triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 80/100
pandas-dev/pandas#72163 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
LightFM prepare_test_df ignores mapping values and silently mislabels evaluation pairsEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 79/100
recommenders-team/recommenders#2480 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
521xueweihan/HelloGitHub#4385 ·
-
🐛 bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
pdm-project/pdm#4012 ·
Maintainer antworten meist innerhalb von 1 Tag