[Bug]: FreshnessScorer defaults to current_year=2024, so this year's URLs score like undated ones
Les mainteneurs répondent en général sous 1 jour
@Siddharth-DWT y travaille déjà.
Depuis le 21/10/2026.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 35/100
Piste de recherche
Start with crawl4ai/deep_crawling/scorers.py and inspect FreshnessScorer's current_year default and _extract_year; reproduce the listed URL scores. Check the documentation example that uses FreshnessScorer(weight=0.8). Done when the default ranks a URL from the current year above an undated URL, while an explicitly supplied current_year keeps working as before.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
crawl4ai version
0.9.5 (also on main and develop)
Expected Behavior
As the docstring says, "more recent years score higher": with the default settings a URL dated this year scores highest.
Current Behavior
current_year defaults to a hard-coded 2024, and _extract_year discards any year later than current_year as invalid. So today, with the default:
- a
/2026/or/2025/URL scores 0.5, the same as a URL with no date - a
/2024/URL scores 1.0
BestFirstCrawlingStrategy with a default FreshnessScorer therefore ranks 2024 content above current content. The docs use it with the default (FreshnessScorer(weight=0.8)).
Is this reproducible?
Yes
Inputs Causing the Bug
Any FreshnessScorer() without current_year.
Steps to Reproduce
Run the snippet below.
Code snippets
from crawl4ai.deep_crawling.scorers import FreshnessScorer
scorer = FreshnessScorer()
for url in [
"https://example.com/blog/2026/10/01/post",
"https://example.com/blog/2024/01/01/post",
"https://example.com/about",
]:
print(url, scorer.score(url))
# 2026 -> 0.5, 2024 -> 1.0, undated -> 0.5
OS
Windows 11 (platform-independent)
Python version
3.13
Browser
Not involved
Error logs & Screenshots (if applicable)
None; no error is raised.
Fix: default current_year to None and use date.today().year; an explicit current_year keeps working as before. I'll open a PR against develop referencing this issue.
Investigated with AI assistance; I ran the reproduction and checked the output myself.
- Langage dominant
- Python
- Étoiles
- 87.2k
- Forks
- 9.1k
- Merge moyen
- 1 j 6 h
- PR mergées (30 j)
- 25
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de unclecode/crawl4ai
-
BUG: UserAgentGenerator.generate ignores browser_type and returns a random browser stackPeut-être pris @HhH666-ux l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: Hardened docker-compose (read_only) keeps full Chromium from starting: crashpad needs a writable ~/.configPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte🐞 Bug 📌 Root caused
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
unclecode/crawl4ai#2494 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
[Feature]: Crawl4aiDockerClient has no public option for the API token the 0.9 server requiresOuverte⚙ Done ✨ Enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
Les mainteneurs répondent en général sous 1 jour
-
⚙ Done 🐞 Bug 📌 Root caused
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
[Bug]: PDF images saved with save_images_locally=True come back with an empty src in result.mediaOuverte⚙ Done 🐞 Bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
unclecode/crawl4ai#2469 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de unclecode/crawl4ai
Issues similaires
-
area:security effort:S priority:P3 status:needs-triage type:chore
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
randomparity/kdive#3657 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
aws/mcp-proxy-for-aws#476 ·
Les mainteneurs répondent en général sous 1 jour
-
fix(cli): a --root that does not exist exits 0 with 'Scanned 0 file(s)', so a wrong path in CI passes silentlyPeut-être pris @arpanjot-coding l’a pris aujourd’hui. Ouvertearea: runtime automation bug cli code-scanning consistency developer-experience difficulty: easy github-actions good first issue help wanted json-output priority: P3 python sarif silent-failure static-analysis tests
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
-
ContainsOnly raises TypeError for unhashable input with set-based choicesPeut-être pris @prathamchoksi l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
marshmallow-code/marshmallow#3115 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Les mainteneurs répondent en général sous 1 jour