[Bug]: Memory Leak on Repeated /md Requests via Docker (MacOS) — Container Crashes Randomly Over Time

I maintainer di solito rispondono entro 1 giorno

Valutazione

Direzione di ricerca

Descrizione

crawl4ai version

0.6.0-r2 or Latest docker image

Expected Behavior

When sending repeated POST requests to /md every 10 seconds with dynamic URLs, the Docker container should handle each request efficiently without memory leaks or crashes, maintaining stable memory usage over time.

Current Behavior

Initially, everything works fine. However, after some time (randomly, depending on duration and frequency), memory usage starts increasing significantly until the container crashes. This suggests a possible memory leak or improper cleanup of resources on repeated executions.

Attached below is a screenshot showing the memory spike before the crash.

Is this reproducible?

Yes

Inputs Causing the Bug

Example request payload sent via Postman every 10 seconds:

{
  "url": "http://www.example.com",
  "f": "fit",
  "q": null,
  "c": "0"
}

Steps to Reproduce

1.	Run the crawl4ai app using the Docker setup.
2.	Use a tool (like Postman or a script) to send POST requests to http://localhost/md every 10 seconds.
3.	Use a changing URL in the request payload for each call.
4.	Monitor Docker memory usage over time.
5.	Observe the steady increase in memory and eventual container crash.

Code snippets

OS

macOS Sequoia Version 15.5

Python version

3.12

Browser

No response

Browser version

No response

Error logs & Screenshots (if applicable)

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di unclecode/crawl4ai

• [Bug]: Reusing BFSDeepCrawlStrategy leaks the previous crawl's max_pages budget into a fresh run

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  unclecode/crawl4ai#2309 · 2 commenti · Aperta il 29/9/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: Docker server fails to boot after mcp 2.0.0 release — mcp_bridge uses the removed v1 low-level API

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100

  unclecode/crawl4ai#2147 · 3 commenti · Aperta il 18/8/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: Docker memory guard reads host RAM when no container limit is set — cgroup v2 "max" defeats get_container_memory_percent

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  unclecode/crawl4ai#2123 · 1 commento · Aperta il 5/8/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: Docker requests can no longer specify deep crawl params

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  🐞 Bug 🩺 Needs Triage

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

  unclecode/crawl4ai#2308 · Aperta il 28/9/2026

  I maintainer di solito rispondono entro 1 giorno

• Feature request: opt-in crawl source receipt for RAG ingestion

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

  unclecode/crawl4ai#2307 · Aperta il 27/9/2026

  I maintainer di solito rispondono entro 1 giorno

Tutte le issue di unclecode/crawl4ai

Issue simili

• Claiming namespace `apoint`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  namespace operations

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100

  EclipseFdn/open-vsx.org#13573 · Aperta il 30/9/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] vRecur has BYWEEKDAY registered but that is not part of the standard

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  collective/icalendar#1854 · Aperta il 30/9/2026

  I maintainer di solito rispondono entro 1 giorno

• The no-agent error message is wrong

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  rancher/rancher-ai-agent#412 · Aperta il 30/9/2026

  I maintainer di solito rispondono entro 6 giorni

• Add a check in io.py, only check the existence for Path and string objects

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100

  TUDelftGeodesy/DePSI#134 · Aperta il 30/9/2026

• `American "Acknowledgments" heading is misclassified and rendered after Introduction`

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100

  HenriquesLab/rxiv-maker#335 · Aperta il 30/9/2026

Altre issue su Python