[Bug]: Wrong error message on failed crawling with CacheMode.ENABLED

Offen
#2,490 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
3/5
Geschätzter Aufwand
Ein halber Tag
Anfängerfreundlichkeit
56/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
playwright, python
Bereich
backend

Rechercherichtung

The traceback names _crawl_web and the MarkdownGenerationResult pydantic model, and the failed navigation is a Playwright Page.goto error. Start by reproducing with an unreachable URL under CacheMode.ENABLED and again under CacheMode.DISABLED, then compare the error fields. Done means the cached path reports the real navigation failure instead of the empty-dict validation error.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

⚙ Done 🐞 Bug
crawl4ai version

0.9.5

Expected Behavior

CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)

AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"

CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)

AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"

Current Behavior

CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)

AsyncWebCrawler.arun(...)
"error": "Unexpected error in _crawl_web at line 263 in init (../.venv/lib/python3.13/site-packages/pydantic/main.py):\nError: 3 validation errors for MarkdownGenerationResult\nraw_markdown\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nmarkdown_with_citations\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nreferences"

CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)

AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"

Is this reproducible?

Yes

Inputs Causing the Bug

Steps to Reproduce

Code snippets

OS

Linux

Python version

3.13

Browser

No response

Browser version

No response

Error logs & Screenshots (if applicable)

No response

Vorherrschende Sprache
Python
Sterne
87.2k
Forks
9.1k
Ø Merge
1 T. 6 Std.
Gemergte PRs (30 T.)
25

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus unclecode/crawl4ai

Alle Issues in unclecode/crawl4ai

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.