django/djangoproject.com

Use noindex meta tag or header, not robots.txt, to block untranslated docs pages

Open

#877 ouverte le 2 mars 2019

Voir sur GitHub
 (8 commentaires) (1 réaction) (0 assignés)Python (2 001 stars) (1 100 forks)user submission
good first issue

Description

As far as I can tell, we're currently using robots.txt to block untranslated docs pages from being indexed by Google. Looking through Search Console, it appears that is not the correct approach and these pages are still being indexed:

That warning links to: https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt

Which suggests using the noindex meta tag or header instead: https://support.google.com/webmasters/answer/93710

Guide contributeur

Stack technique
djangopythonhtmlcss
Domaine
frontenddocumentationsearch
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 hours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
Django basicsHTML meta tagsHTTP headers
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70
Direction de recherche
Investigate which Django templates or views serve the untranslated docs pages. Likely the base template or a custom middleware needs to be modified to include a noindex meta tag or X Robots Tag header. Refer to the Google Webmaster guidelines linked in the issue. Check existing templates in the repository for similar patterns.