[Bug]: Wrong error message on failed crawling with CacheMode.ENABLED
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- Une demi-journée
- Accessibilité débutants
- 56/100
Piste de recherche
The traceback names _crawl_web and the MarkdownGenerationResult pydantic model, and the failed navigation is a Playwright Page.goto error. Start by reproducing with an unreachable URL under CacheMode.ENABLED and again under CacheMode.DISABLED, then compare the error fields. Done means the cached path reports the real navigation failure instead of the empty-dict validation error.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
crawl4ai version
0.9.5
Expected Behavior
CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
Current Behavior
CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)
AsyncWebCrawler.arun(...)
"error": "Unexpected error in _crawl_web at line 263 in init (../.venv/lib/python3.13/site-packages/pydantic/main.py):\nError: 3 validation errors for MarkdownGenerationResult\nraw_markdown\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nmarkdown_with_citations\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nreferences"
CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
Is this reproducible?
Yes
Inputs Causing the Bug
Steps to Reproduce
Code snippets
OS
Linux
Python version
3.13
Browser
No response
Browser version
No response
Error logs & Screenshots (if applicable)
No response
- Langage dominant
- Python
- Étoiles
- 87.2k
- Forks
- 9.1k
- Merge moyen
- 1 j 6 h
- PR mergées (30 j)
- 25
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackPeut-être pris @HhH666-ux l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte🐞 Bug 📌 Root caused
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
unclecode/crawl4ai#2494 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresOuverte⚙ Done ✨ Enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
Les mainteneurs répondent en général sous 1 jour
-
⚙ Done 🐞 Bug 📌 Root caused
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaOuverte⚙ Done 🐞 Bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
unclecode/crawl4ai#2469 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de unclecode/crawl4ai
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour
-
documentation
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
Install the skills as a Claude Code pluginPeut-être pris @ruban-24 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 6 jours
-
Make the usage of time-zone aware UTC timestamps the norm across the pynxtools NOMAD ecosystemOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
FAIRmat-NFDI/pynxtools#874 ·
-
Eval: PublicationOuvertedata
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100