[Bug]: PruningContentFilter cuts inline spans out of sentences it keeps (e.g. "renamed Tokyo (lit. '')")
Maintainer thường phản hồi trong vòng 1 ngày
@siva23367 đang làm issue này rồi.
Từ ngày 19/10/2026.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 75/100
Hướng nghiên cứu
Start by reading PruningContentFilter and _prune_tree in crawl4ai/content_filter_strategy.py, then run the provided reproducer with nested spans inside kept paragraphs. Check how the default filter handles those spans compared with preserve_tags=["span"]. Done means the default output retains the text inside nested inline spans without dropping otherwise kept paragraph content.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
crawl4ai version
0.9.4 (reproduced). PruningContentFilter (crawl4ai/content_filter_strategy.py) is unchanged in v0.9.5 and on main (checked 2026-10-19).
Expected Behavior
When PruningContentFilter keeps a paragraph, the words inside that paragraph stay. A filter that removes a whole block is expected; a kept sentence with words missing from its middle is not.
Current Behavior
A <span> whose content is another element, such as a span around a link or a span around a span, is removed from a paragraph that is otherwise kept. Wikipedia marks up glosses and native-script names this way, so on https://en.wikipedia.org/wiki/Tokyo fit_markdown reads:
the city was renamed Tokyo (lit. '')
The source HTML is (<abbr>lit.</abbr> ... <span class="gloss-text"><a href="...">Eastern Capital</a></span> ...).
In the snippet below, plain spans, <strong>, <em> and links placed directly in the paragraph are kept; only the nested spans are lost.
My reading of the cause: _prune_tree scores every descendant element as if it were a block, and the score includes text density (text length over markup length) and link density. A short span whose only content is another element has little text against its markup, because the inner element's tags count as markup too. When the inner element is a link, the link density is also 1. Either way the span scores under the threshold and is removed.
Is this reproducible?
Yes
Inputs Causing the Bug
HTML with short nested inline spans inside a paragraph, for example https://en.wikipedia.org/wiki/Tokyo.
Steps to Reproduce
- Run the snippet below.
- Compare the
defaultoutput with the paragraphs inHTML.
Code snippets
import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig, CacheMode, DefaultMarkdownGenerator, PruningContentFilter
HTML = """<html><body><article>
<p>After the <a href="/wiki/Meiji_Restoration">Meiji Restoration</a> (1868), the imperial capital in <a href="/wiki/Kyoto">Kyoto</a> was moved to Edo, and the city was renamed Tokyo (<abbr title="literal translation">lit.</abbr> <span class="gloss-quot">'</span><span class="gloss-text"><a href="/wiki/Capital_of_Japan">Eastern Capital</a></span><span class="gloss-quot">'</span>). The city was greatly damaged by the 1923 earthquake and rebuilt in the following decades.</p>
<p>Tokyo (<span title="Japanese-language text"><span lang="ja">東京</span></span>) is the capital of Japan and one of the most populous cities in the world, with a population of about fourteen million.</p>
<p>The museum near the harbour holds <span>old maps</span> of the bay, <strong>ship models</strong> and <em>letters</em> written by the first merchants who settled on the northern quay.</p>
</article></body></html>"""
async def main():
async with AsyncWebCrawler() as crawler:
for name, flt in [("default", PruningContentFilter()), ("preserve_tags=['span']", PruningContentFilter(preserve_tags=["span"]))]:
config = CrawlerRunConfig(cache_mode=CacheMode.BYPASS, markdown_generator=DefaultMarkdownGenerator(content_filter=flt))
result = await crawler.arun("raw:" + HTML, config=config)
print(f"--- {name}")
print(result.markdown.fit_markdown)
asyncio.run(main())
Output on 0.9.4:
--- default
After the [Meiji Restoration](/wiki/Meiji_Restoration) (1868), the imperial capital in [Kyoto](/wiki/Kyoto) was moved to Edo, and the city was renamed Tokyo (lit. ''). The city was greatly damaged by the 1923 earthquake and rebuilt in the following decades.
Tokyo () is the capital of Japan and one of the most populous cities in the world, with a population of about fourteen million.
The museum near the harbour holds old maps of the bay, **ship models** and _letters_ written by the first merchants who settled on the northern quay.
*[lit.]: literal translation
--- preserve_tags=['span']
After the [Meiji Restoration](/wiki/Meiji_Restoration) (1868), the imperial capital in [Kyoto](/wiki/Kyoto) was moved to Edo, and the city was renamed Tokyo (lit. '[Eastern Capital](/wiki/Capital_of_Japan)'). The city was greatly damaged by the 1923 earthquake and rebuilt in the following decades.
Tokyo (東京) is the capital of Japan and one of the most populous cities in the world, with a population of about fourteen million.
The museum near the harbour holds old maps of the bay, **ship models** and _letters_ written by the first merchants who settled on the northern quay.
*[lit.]: literal translation
Workaround and suggestion
preserve_tags=["span"] fixes it: a preserved element is kept whole and not scored. On the Tokyo page it grows fit_markdown by about 2% (139,263 to 141,985 characters), so it does not let noticeably more noise through. Lowering the threshold, the workaround discussed in #582, applies to the whole page instead.
Since a filter that keeps a block should keep the block's words, a possible fix is to stop scoring inline (phrasing) elements on their own and let them follow their nearest block ancestor. Making span part of the default preserve_tags would cover the cases above with a smaller change.
#582 reported a similar symptom for <a> and <strong> and was closed after tuning the threshold. This report is narrower: the kept sentence itself is left with holes.
OS
Debian GNU/Linux 12 (bookworm), in the official unclecode/crawl4ai:0.9.4 Docker image
Python version
3.12.14
Error logs & Screenshots (if applicable)
None.
- Ngôn ngữ chính
- Python
- Star
- 87.2k
- Fork
- 9.1k
- Merge trung bình
- 1 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 25
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackCó thể đã có người làm @HhH666-ux đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở🐞 Bug 📌 Root caused
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
unclecode/crawl4ai#2494 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresĐang mở⚙ Done ✨ Enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
Maintainer thường phản hồi trong vòng 1 ngày
-
⚙ Done 🐞 Bug 📌 Root caused
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaĐang mở⚙ Done 🐞 Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
unclecode/crawl4ai#2469 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của unclecode/crawl4ai
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
521xueweihan/HelloGitHub#4385 ·
-
🐛 bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pdm-project/pdm#4012 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
pollen-robotics/reachy_mini_conversation_app#611 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 91/100
aws-samples/sample-per-model-bedrock#913 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
lesson-submission pending-review
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
Ikalus1988/MisakaNet#5115 ·
Maintainer thường phản hồi trong vòng 1 ngày