[Bug]: Wrong error message on failed crawling with CacheMode.ENABLED
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- Medio día
- Aptitud para principiantes
- 56/100
Línea de trabajo
The traceback names _crawl_web and the MarkdownGenerationResult pydantic model, and the failed navigation is a Playwright Page.goto error. Start by reproducing with an unreachable URL under CacheMode.ENABLED and again under CacheMode.DISABLED, then compare the error fields. Done means the cached path reports the real navigation failure instead of the empty-dict validation error.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
crawl4ai version
0.9.5
Expected Behavior
CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
Current Behavior
CrawlerRunConfig(cache_mode=CacheMode.ENABLED,...)
AsyncWebCrawler.arun(...)
"error": "Unexpected error in _crawl_web at line 263 in init (../.venv/lib/python3.13/site-packages/pydantic/main.py):\nError: 3 validation errors for MarkdownGenerationResult\nraw_markdown\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nmarkdown_with_citations\n Field required [type=missing, input_value={}, input_type=dict]\n For further information visit https://errors.pydantic.dev/2.13/v/missing\nreferences"
CrawlerRunConfig(cache_mode=CacheMode.DISABLED,...)
AsyncWebCrawler.arun(...)
"error": "All proxies failed: Failed on navigating ACS-GOTO:\nPage.goto: net::ERR_CONNECTION_REFUSED at https://some-wrong-site.com/\nCall log:\n - navigating to "https://some-wrong-site.com/\", waiting until "domcontentloaded"\n"
Is this reproducible?
Yes
Inputs Causing the Bug
Steps to Reproduce
Code snippets
OS
Linux
Python version
3.13
Browser
No response
Browser version
No response
Error logs & Screenshots (if applicable)
No response
- Lenguaje dominante
- Python
- Estrellas
- 87.2k
- Forks
- 9.1k
- Merge medio
- 1 d 6 h
- PR fusionados (30 d)
- 25
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackPosiblemente ocupada @HhH666-ux la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto🐞 Bug 📌 Root caused
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
unclecode/crawl4ai#2494 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresAbierto⚙ Done ✨ Enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
Los mantenedores suelen responder en 1 día
-
⚙ Done 🐞 Bug 📌 Root caused
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaAbierto⚙ Done 🐞 Bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
unclecode/crawl4ai#2469 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de unclecode/crawl4ai
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Install the skills as a Claude Code pluginPosiblemente ocupada @ruban-24 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 6 días
-
Make the usage of time-zone aware UTC timestamps the norm across the pynxtools NOMAD ecosystemAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
FAIRmat-NFDI/pynxtools#874 ·
-
Eval: PublicationAbiertodata
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100