[Bug]: crwl always bypasses the cache, -c cache_mode=enabled is ignored
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 66/100
Línea de trabajo
Empieza por la opción de Click --bypass-cache declarada tanto en el comando crwl como en crwl crawl, y luego por el bloque if bypass_cache: que establece CacheMode.BYPASS después de aplicar -c. El issue no indica en qué archivo están, así que busca la cadena de la opción. Está hecho cuando crwl https://example.com -o md -c cache_mode=enabled ejecutado dos veces produce un acierto de caché en la segunda ejecución y el valor predeterminado del flag ya no sobrescribe -c cache_mode.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
--bypass-cache is declared as a flag with default=True, in both crwl and crwl crawl:
@click.option("--bypass-cache", "-bc", is_flag=True, default=True, help="Bypass cache when crawling")
So bypass_cache is always True, and this runs after -c / --crawler-config are applied:
if bypass_cache:
crawler_cfg.cache_mode = CacheMode.BYPASS
Because of that, -c cache_mode=enabled (or a crawler config file that sets it) is silently ignored, and the CLI never reads or writes the cache.
Repro (0.9.4)
crwl https://example.com -o md -c cache_mode=enabled
crwl https://example.com -o md -c cache_mode=enabled
Both runs fetch the page again, and ~/.crawl4ai/crawl4ai.db never gets a crawled_data table. The same thing from Python works fine: CrawlerRunConfig(cache_mode=CacheMode.ENABLED) gives cache_status miss, then hit.
Fix idea
Make it default=False (keep the flag), or turn it into --bypass-cache/--use-cache. Then only override cache_mode when the user did not set it with -c. Today crwl bypasses the cache by default, so we probably want to keep that as the default and just let -c cache_mode=... win.
Found while looking at the community plugins in #2316. Both of them pass -c cache_mode=enabled and expect caching to work.
- Lenguaje dominante
- Python
- Estrellas
- 85.4k
- Forks
- 8.9k
- Merge medio
- 5 d 13 h
- PR fusionados (30 d)
- 28
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de unclecode/crawl4ai
-
[Bug]: whitespace-only inline elements are removed from cleaned_html, merging words in raw_markdown (prose, not only <pre>/<code>)Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto⚙ Done 🐞 Bug 🥸 - Medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 83/100
unclecode/crawl4ai#2328 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[Bug]: HTTP crawler puts proxy credentials into the URL unencodedQuizá libre de nuevo @omarbounawarapy la tomó hace 13 días y no hay ningún pull request abierto. Abierto⚙ Done 🐞 Bug 🥸 - Medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
unclecode/crawl4ai#2326 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
[Bug]: Same PDF gives different markdown on each run when batch_size > 1 (threads share current_page_number)Posiblemente ocupada @Kylinny la tomó hace 14 días. Abierto⚙ Done 🐞 Bug 🥸 - Medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
unclecode/crawl4ai#2319 · 4 comentarios ·
Los mantenedores suelen responder en 1 día
-
[Bug]: Reusing BFSDeepCrawlStrategy leaks the previous crawl's max_pages budget into a fresh runQuizá libre de nuevo @nightcityblade la tomó hace 14 días y no hay ningún pull request abierto. Abierto⚙ Done 🐞 Bug 📌 Root caused 🥸 - Medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
unclecode/crawl4ai#2309 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
[Bug]: Docker memory guard reads host RAM when no container limit is set — cgroup v2 "max" defeats get_container_memory_percentPosiblemente ocupada @Battleplus la tomó hace 51 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
unclecode/crawl4ai#2123 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de unclecode/crawl4ai
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
-
[Bug]: Importing weave changes the process-wide localePosiblemente ocupada @himanshu748 la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
-
UX
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
mediajunkie/piper-morgan-product#2008 · 2 comentarios ·