[Bug]: Wrong error message on failed crawling with CacheMode.ENABLED
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- Ein halber Tag
- Anfängerfreundlichkeit
- 56/100
Rechercherichtung
The traceback names _crawl_web and the MarkdownGenerationResult pydantic model, and the failed navigation is a Playwright Page.goto error. Start by reproducing with an unreachable URL under CacheMode.ENABLED and again under CacheMode.DISABLED, then compare the error fields. Done means the cached path reports the real navigation failure instead of the empty-dict validation error.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
crawl4ai version
0.9.5
Expected Behavior
CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
Current Behavior
CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)
AsyncWebCrawler.arun(...)
"error": "Unexpected error in _crawl_web at line 263 in init (../.venv/lib/python3.13/site-packages/pydantic/main.py):\nError: 3 validation errors for MarkdownGenerationResult\nraw_markdown\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nmarkdown_with_citations\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nreferences"
CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
Is this reproducible?
Yes
Inputs Causing the Bug
Steps to Reproduce
Code snippets
OS
Linux
Python version
3.13
Browser
No response
Browser version
No response
Error logs & Screenshots (if applicable)
No response
- Vorherrschende Sprache
- Python
- Sterne
- 87.2k
- Forks
- 9.1k
- Ø Merge
- 1 T. 6 Std.
- Gemergte PRs (30 T.)
- 25
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackEvtl. vergeben @HhH666-ux hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen🐞 Bug 📌 Root caused
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
unclecode/crawl4ai#2494 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresOffen⚙ Done ✨ Enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
Maintainer antworten meist innerhalb von 1 Tag
-
⚙ Done 🐞 Bug 📌 Root caused
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaOffen⚙ Done 🐞 Bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
unclecode/crawl4ai#2469 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in unclecode/crawl4ai
Ähnliche Issues
-
area:security effort:S priority:P3 status:needs-triage type:chore
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
randomparity/kdive#3657 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
aws/mcp-proxy-for-aws#476 ·
Maintainer antworten meist innerhalb von 1 Tag
-
fix(cli): a --root that does not exist exits 0 with 'Scanned 0 file(s)', so a wrong path in CI passes silentlyEvtl. vergeben @arpanjot-coding hat das heute übernommen. Offenarea: runtime automation bug cli code-scanning consistency developer-experience difficulty: easy github-actions good first issue help wanted json-output priority: P3 python sarif silent-failure static-analysis tests
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
-
ContainsOnly raises TypeError for unhashable input with set-based choicesEvtl. vergeben @prathamchoksi hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
marshmallow-code/marshmallow#3115 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Maintainer antworten meist innerhalb von 1 Tag