django/djangoproject.com

Use noindex meta tag or header, not robots.txt, to block untranslated docs pages

Open

#877 geöffnet am 2. März 2019

Auf GitHub ansehen
 (8 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (2.001 Stars) (1.100 Forks)user submission
good first issue

Beschreibung

As far as I can tell, we're currently using robots.txt to block untranslated docs pages from being indexed by Google. Looking through Search Console, it appears that is not the correct approach and these pages are still being indexed:

That warning links to: https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt

Which suggests using the noindex meta tag or header instead: https://support.google.com/webmasters/answer/93710

Contributor Guide

Tech Stack
djangopythonhtmlcss
Domain
frontenddocumentationsearch
Issue Type
bug
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
Django basicsHTML meta tagsHTTP headers
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70
Research-Richtung
Investigate which Django templates or views serve the untranslated docs pages. Likely the base template or a custom middleware needs to be modified to include a noindex meta tag or X Robots Tag header. Refer to the Google Webmaster guidelines linked in the issue. Check existing templates in the repository for similar patterns.