[Bug]: deep crawl configs from dump() are rejected by the server (logger: null) and DFS strategies dump empty
Les mainteneurs répondent en général sous 1 jour
Évaluation
- Difficulté
- 3/5
- Temps estimé
- Une demi-journée
- Accessibilité débutants
- 48/100
Piste de recherche
Start with to_serializable_dict() and the dump() path in CrawlerRunConfig, then look at DFSDeepCrawlStrategy.__init__ in the deep_crawling package, which only forwards *args, **kwargs to BFSDeepCrawlStrategy. Two fixes are needed: skip fields whose value serializes to None, and give DFS named parameters so it dumps max_depth and max_pages. Done when the snippet in the issue prints the expected params, loads with Provenance.UNTRUSTED without error, and a DFS round-trip keeps its parameters.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
crawl4ai version
0.9.5 (also on develop)
Expected Behavior
A deep crawl config produced by CrawlerRunConfig.dump(), as Crawl4aiDockerClient sends it, is accepted by the server when CRAWL4AI_ALLOW_DEEP_CRAWL=true.
Current Behavior
Two problems in to_serializable_dict() stop it:
logger: null. Objects that cannot be deserialized (aLogger, a callable) serialize toNone, but the field is still written. Every deep crawl strategy dumps as{"max_depth": ..., "logger": null}, and the server rejectsloggeron deep crawl strategies from an untrusted request even when it is null:UntrustedConfigError: field 'logger' is not permitted on BFSDeepCrawlStrategy from an untrusted requestDFSDeepCrawlStrategydumps with no parameters. Its__init__only forwards*args, **kwargstoBFSDeepCrawlStrategy, so there are no named parameters to read back:DFSDeepCrawlStrategy(max_depth=3, max_pages=7)dumps as{"type": "DFSDeepCrawlStrategy", "params": {}}, and loading it fails withTypeError: ... missing 1 required positional argument: 'max_depth'. Theloggererror currently hides this one.
Is this reproducible?
Yes
Inputs Causing the Bug
Any CrawlerRunConfig with a deep crawl strategy, loaded with Provenance.UNTRUSTED (the server path).
Steps to Reproduce
Run the snippet below; it reproduces the server's check in-process.
Code snippets
import json
import os
os.environ["CRAWL4AI_ALLOW_DEEP_CRAWL"] = "true"
from crawl4ai import CrawlerRunConfig
from crawl4ai.async_configs import Provenance, to_serializable_dict
from crawl4ai.deep_crawling import BFSDeepCrawlStrategy, DFSDeepCrawlStrategy
cfg = CrawlerRunConfig(deep_crawl_strategy=BFSDeepCrawlStrategy(max_depth=1))
print(cfg.dump()["params"]["deep_crawl_strategy"]["params"]) # {'max_depth': 1, 'logger': None}
CrawlerRunConfig.load(json.loads(json.dumps(cfg.dump())), provenance=Provenance.UNTRUSTED)
# UntrustedConfigError: field 'logger' is not permitted on BFSDeepCrawlStrategy from an untrusted request
print(to_serializable_dict(DFSDeepCrawlStrategy(max_depth=3, max_pages=7)))
# {'type': 'DFSDeepCrawlStrategy', 'params': {}}
OS
Windows 11 (platform-independent)
Python version
3.13
Browser
Not involved
Error logs & Screenshots (if applicable)
See above.
The logger part was found by @SohamKukreti in the review of #2425; the DFS part showed up once it was fixed. I'll open a PR.
- Langage dominant
- Python
- Étoiles
- 87.2k
- Forks
- 9.1k
- Merge moyen
- 1 j 6 h
- PR mergées (30 j)
- 25
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackPeut-être pris @HhH666-ux l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte🐞 Bug 📌 Root caused
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
unclecode/crawl4ai#2494 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresOuverte⚙ Done ✨ Enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
Les mainteneurs répondent en général sous 1 jour
-
⚙ Done 🐞 Bug 📌 Root caused
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaOuverte⚙ Done 🐞 Bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
unclecode/crawl4ai#2469 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de unclecode/crawl4ai
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 73/100
Netcracker/qubership-ai-packages#266 ·
Les mainteneurs répondent en général sous 1 jour
-
PROCESSED_DATA_FOLDER: strip whitespace and treat empty as unsetPeut-être pris @TorecLuik l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
NL-BioImaging/BIOMERO.importer#63 ·
Les mainteneurs répondent en général sous 1 jour
-
MLX training-complete chat/merge suggestions omit --backend mlxPeut-être pris @vaputa l’a pris aujourd’hui. Ouverteneeds-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
MakazhanAlpamys/Soup#2913 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
area:security effort:S priority:P3 status:needs-triage type:chore
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
randomparity/kdive#3657 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
aws/mcp-proxy-for-aws#476 ·
Les mainteneurs répondent en général sous 1 jour