Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Bug]: Docker requests can no longer specify deep crawl params

Chiusa
  • Qualcosa non va?
#2,308 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
55/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
docker, python
Ambito
api, backend, security

Direzione di ricerca

Start by reproducing the 400 response from the Docker /crawl endpoint when deep_crawl_strategy is supplied, then trace the request validation and compare it with the limits in deploy/docker/governor.py. Check how filter_chain, url_scorer, max_pages, and max_depth are handled. Done means supported deep-crawl parameters work through Docker while configured safety limits remain enforced.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

⚙ Done 🐞 Bug
crawl4ai version

0.9.4

Expected Behavior

When calling the Docker /crawl endpoint I should be able to specify:

  • Deep or single-page crawl
  • filter_chain with params e.g. URL pattern filters
  • url_scorer with params e.g. keywords
  • max_pages and max_depth (clamped to a configurable limit to prevent DoS)
Current Behavior

Since 0.9.0 any requests with deep_crawl_strategy are rejected with 400.

This removes a ton of functionality that I'm currently relying on - for example:

  • If I want to conditionally run single-page vs deep crawls, I would now need to run two docker containers in parallel, each statically configured to do each type.
  • I currently dynamically generate URL path filters based on varying input URLs. This is now impossible because they cannot be defined statically.

According to the changelog, this was removed from the API to improve security. However, I believe this could be re-added with no increased security risk, beyond clamping a few values (e.g. max pages) to a server-configurable limit to prevent DoS - which seems to already be implemented in deploy/docker/governor.py.

An alternative would be to allow users to opt-out of such security limitations, for example in environments where they are already validating inputs before calling the API.

OS

Linux

Python version

3.12

Browser

No response

Browser version

No response

Error logs & Screenshots (if applicable)

No response

Lingua principale
Python
Stelle
85.4k
Fork
8.9k
Merge medio
6g 5h
PR unite (30g)
24

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di unclecode/crawl4ai

Tutte le issue di unclecode/crawl4ai

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.