Robots.txt et WordPress

Juste une remarque : les SWF sont aujourd'hui indexés par Google !

Merci pour cet excellent travail, Daniel !

Concernant le sitemap, je ne suis pas d’accord eu égard au nombre de spiders qui l’indexent « spontanément » ! De mon point de vue, c’est une erreur.

N’oublions pas Yandex.

Merci pour cet article.

Petite précision : Google n'ignore JAMAIS le roboots.txt

- Avec le robots.txt, tu dis à Google de ne pas crawler tel ou tel contenu, et jusqu'à preuve du contraire c'est systématiquement respecté (et ce sera une révolution le jour ou ça changera).

- Par contre, tu ne lui interdit pas d'indexer, et dans certains cas il peut indexer du contenu sans l'avoir crawlé (mais peu probable d'espérer beaucoup de trafic dans ce cas...).

- Si tu veux interdire l'indexation, il faut utiliser un no-index. La subtilité étant que si la page est bloquée dans le robots.txt, Google ne peut pas voir qu'il y a un noindex...

Bonjour !
Il est vrai que le problème illustré par le screen de search enfine land se rencontre assez souvent.

Autre bug rencontré parfois avec WordPress : dans vie privée, l'option "ne pas indexer" est cochée dans un premier temps et lorsqu'on veut mettre le site en ligne et qu'on coche l'option "indexer mon site", cela ne change rien.
Dans ce cas le fichier robots peut être d'un grand secours.

Ce n'est pas forcément une bonne idée de bloquer la totalité des JS à Google.
On sait tous que Google s'en sert pour interpréter les pages. Parfois jquery est nécessaire pour des onglets, pour des actions permettant de masquer/afficher du contenu, etc. Il faut que GG puisse "comprendre" que ton div caché peut être affiché par une action utilisateur.

Pour ma part je bloque les JS indirectement : je disallow un répertoire complet dans lequel je mets les JS que je ne veux pas montrer (cryptage / obfuscation notamment).

Autre oubli

Concernant les fichiers js et css, Matt Cutts avait recommandé de ne pas les désindexer !

A la vue de mes logs Apache, les bots de Baïdu, d'Exalead, ... utilisent les indications fournies par le fichier robots.txt sur l'emplacement du fichier sitemap ! Il est donc indispensable de maintenir ce fichier et l'information sur son emplacement.

Quelle prise de tête ce robots.txt! Récemment j'ai eu le cas, un robots.txt (made in seomix) ignoré tranquillement.. le fichier lui même était indexé.

Aujourd'hui, je l'ai carrément supprimé

bon article, par contre vous ne parlez pas du fichier robots.txt virtuel qui est généré par WordPress.
c'est un fichier basique qui ne comporte que ces 3 lignes :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

d'après ce que j'ai compris ce fichier est généré par WordPress quand il n'y a pas d'autres fichiers robots.txt, mais il n'est pas présent "physiquement" sur le serveur, par contre contre si on tape http://www.monsite.com/robots.txt alors on le voit.

En ce qui concerne le sitemap.xml.
Ok c'est sûrement mieux d'utiliser les outils de webmasters proposés par Google et Bing.

Mais si on ne le met pas, comment vont faire les moteurs de recherche autre que Google et Bing ?

De plus, le sitemap est souvent (je pense) à la racine du site, les outils de pompage de site ne sont pas stupide, qu'il soit indiqué ou non dans le robots.txt, j'imagine qu'ils iront guetter à l'aveuglette le monsite.fr/sitemap.xml, non ?

Sinon, dans votre article vous parlez de bloquer les commentaires et les flux rss, pourquoi ces lignes ne sont pas dans le fichier robot final ?
Elles sont inutiles ou c'est un oublie ?

En tout cas merci pour cette article détaillé.

Merci pour ces différents éléments plutôt pertinents ;)

Comme certains commentaires précédents, j'attirerais l'attention sur le fait qu'il n'y a pas de règles globales à appliquer à tout site WP mais bien des grands principes qu'il faut parfois ajuster au cas par cas.

Par exemple, le Disallow: /*? c'est très bien ... à condition de bien avoir activé la réécriture d'URL ! et aussi de ne pas avoir de plugins (anciens ou mal codés) créant des URLs avec paramètres pour du contenu pertinent.

De plus, ne pas oublier que ce fichier est aussi un "trou" de sécurité au sens où vous indiquez aux pirates potentiels où trouver les fichiers "sensibles".
Par exemple, il n'est pas rare de sécuriser l'accès au Back Office de WordPress en modifiant son URL (/wp-admin et wp-login par défaut). Dans ce cas, il ne faut bien entendu pas mettre ces nouvelles URLs dans le robot.txt car il est bien entendu accessible par tous !

@Daniel,

Je pense que tu as mal lu / compris mon commentaire.

Ce qu'il faut bien comprendre c'est que le robots.txt ne sert pas à interdire l'indexation, mais à interdire le crawl. Généralement l'un va de pair avec l'autre, mais pas toujours.

L'image de ton article prouve que la page a été indexée, rien d'autre.

Jusqu'à preuve du contraire, Google ne crawl pas les URLs interdites via le robots.txt

Cette nuance est très importante à comprendre.

C'est d'ailleurs bien documenté par Google : http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=156449

Je me pose une question :
En mettant des Disallow: dans le robots.txt ont dit aux bots de ne pas indexer.

Il comprend donc que tout ce qui a pas Disallow, il peut l'indexer ?

Du coup, est-ce que les Allow: servent à qqch ?

@Daniel

Pour l'intitulé du fichier sitemap, je reprenais là une convention, un usage. Il ne me viendrait pas à l'idée de l'appeler toto.xml ! ;+)

Pour mes sites WordPress, j'utilise d'ailleurs le plugin Google XML Sitemaps. Excellent !

@Daniel Merci pour cet excellent article. Tu m'as promis un article sur le nettoyage des sites WordPress hackés, n'oublies pas hein! :p

@Watussi @François-Olivier et @visiboost pour les commentaires tout aussi intéressants.

Salut Daniel

quand tu dis : " Google indique désormais dans les résultats que la page n'a pas pu être indexée correctement, mais que celle-ci est quand même présente présent dans l'index..."
=> Ce n'est pas vraiment ça : Google indique ainsi qu'il connait l'uRL de la page, il sait qu'elle existe mais il ne l'a pas indexé. Il n'a pas connaissance de son code. Ca a toujours été comme ça, sauf qu'avant il mettait en titre l'URL de la page et aucun snippet. Maintenant, il met ce message... Donc le robots.txt sert bien à quelque chose :-)

Idem : " Honnêtement, ne le faites pas ! Et la raison en est toute simple : cela ne sert à rien. Il est bien plus efficace d'ajouter votre sitemap directement dans les centres webmaster de chaque moteur de recherche"
=> Ca sert quand meme pour voila, ask.com, Exalead et tous les autres moteurs qui prennent en compte le standard Sitemaps.org et n'ont pas de webmaster tools. Bon ok c'est pas les principaux mais bon... :-))

Bonne continuation. a+

@ Daniel : "Si c’est vrai, alors pourquoi la page ressort dans les résultats alors qu’il n’en connait rien, pas même le title"

C'est simple : il a identifié un lien vers cette page, donc il la connait. :-)

Les lois, c'est Google qui les fait mais rien ne dit qu'il doit les appliquer à lui-même :-)))

Olivier a raison, c'est ce que j'essayais d'expliquer plus tôt dans la journée.

Généralement, lorsqu'une page interdite dans le robots.txt ressort dans les SERPs, tu vois que le TITLE n'est pas le TITLE réel, c'est souvent une ancre de lien découverte par ailleurs qui est utilisée.

En gros si Google ne peux pas rentrer dans un appartement par la porte principale qui est fermée à clé, il va passer par le balcon du voisin qui fait fasse à la fenêtre restée ouverte.?

@BenOne : Allow: n'a jamais été admis dans le standard et ne veut d'ailleurs rien dire. C'est un simple fichier texte donc une info erronée ne renvoie pas d'erreur.

Je crois que seul Google a dit qu'il comprenait le Allow: mais qui, encore une fois, ne sert à rien puisque tout ce qui n'est pas Disallow est autorisé.

@Olivier

La soumission du sitemap à Ask ne fonctionne plus depuis quelques temps. Je ne sais pas dater précisément. J'avais lâché l'affaire.

Et l'indexation des sites semble se faire très, très bizarrement !

@François-Olivier
Allow gère les exceptions à l'interdiction.

Disallow: /wp-content
Allow: /wp-content/uploads

=> interdire l'accès au répertoire /wp-content/ sauf le sous répertoire /uploads/

Donc si je comprends bien les commentaires, Google sait qu'il y a une page parce qu'il y a un lien qui pointe vers elle mais ne l'indexe pas car il ne la lit pas a cause du robots.txt ?

Mais il l'indexe quand même ...

Sincèrement, j'ai commencé à lire l'article en me disant : "je maitrise pas mal la gestion du robots.txt, je risque de pas y apprendre grand chose". Finalement, de très bon conseils, et contrairement à ce que je pensais, j'ai appris quelques trucs bien utiles que je me suis empressé d'appliquer sur mon site.
Merci !!

Merci pour ces précisions sur le robots.txt, même si on peut se poser réellement la question de l’intérêt de ce fichier...
Concernant le sitemap, il y a 2 écoles :
- créer ce fameux fichier et le proposer au moteur pour bénéficier d'une indexation rapide quelque soit la structure du site.
- ne pas générer de sitemap et attendre l'indexation de son site par les moteurs et ainsi valider la structure technique du site (puisque les moteurs ont réussi l'indexation).

Hello Daniel

Merci pour tes éclaircissements
Comme le fichier Sitemap est souvent aussi en .gz, je ne voie plus l'intéret de cette ligne
Disallow: /*.gz

David

Bonjour Daniel,

Merci beaucoup pour ton article. J'ai une installation WordPress et Google vient de me faire remarquer aujourd'hui qu'il ne trouve pas mon fichier robots.txt à la racine de mon nom de domaine. Et effectivement, il n'y en a pas, il n'y en a jamais eu d'ailleurs. Mais le fichier sitemap est bien présent lui (dans un sous répertoire "nomdedomaine.fr/blog").

J'en conclus qu'il faut que je rajouter le fichier robots.txt à la racine de mon site, est-ce bien cela ta recommandation ?

Par ailleurs, j'ai la structure suivante :
nomdedomaine.fr/blog
nomdedomaine.fr/forum

En quoi cela modifie-t-il le modèle du fichier robots.txt que tu proposais en fin de ton article ?

Merci beaucoup pour ton éclairage.

Bonjour,
Est-ce que "Disallow: /*?" signifie que les pages du moteur de recherche avancé sur mon site ne seront pas visibles par Google ?
Merci de m'éclairer à ce sujet parce qu'il me remonte plein d'erreurs 404 dans Google Webmaster Tool (uniquement des urls du moteur de recherche) :(
Bonne journée !

Merci beaucoup pour votre explication !

Quelque chose de simple, mais tout de même à mentionner :
le robots.txt décrit sera inefficace si les fichiers de WordPress se situent dans un sous-dossier, et c'est souvent le cas.
Il faut donc rajouter /nomdudossier devant chaque adresse sur chaque ligne si les fichiers wordpress ne sont pas directement à la racine du site.

Salut
Je suis assez perplexe sur l'utilisation du " Disallow: /*? "

Avec cela, tu indiques à Google : "merci de ne passer sur aucune des pages avec un paramètre dans l'url"

Bref, n'importe quelle url avec un paramètre de tracking qui se retrouverait dans un forum par exemple ne serait donc pas interprété et aucun PageRank passé... C'est dommage, d'autant plus qu'il n'y aucun risque de duplicate, en particulier si les canonical sont bien gérés.

Bref, personnellement, je déconseille nettement l'utilisation cette ligne.

De manière générale, j'utilise le robots.txt en dernier recours après avoir bien géré les noindex et les canonical... Et, au final, parfois, je n'ai rien à mettre dedans si ce n'est le sitemap ;)

Perso, j'utilise aussi le /*?
Pour tout te dire, voici mon robots.txt de base pour WordPress que j'utilise presque tout le temps :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$

User-agent: Googlebot
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.pdf$
Disallow: /*.xml$

User-agent: Googlebot-Image
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: Updownerbot
Disallow: /

Bonjour Sébastien,

Cela permet d'économiser (un peu) de crawl allocation, et pour les gros sites, c'est intéressant.

Bonjour Daniel,

Si j'ai bien compris la problématique soulevée par le commentaire de Sébastien, il faudrait que Google puisse crawler les URL avec paramètre pour laisser passer le jus, mais ne les indexe pas pour éviter le DC, c'est bien ça ?

Si oui, je tente une réponse mais c'est à tester. La parade serait d'utiliser "Noindex: /*?" dans le robots-txt, au lieu du disallow habituel.

La commande n'est apparemment pas documentée par Google, mais tu trouveras une longue démonstration sur le site WRI; ladite commande fait l'objet de la conclusion de l'article.

http://www.webrankinfo.com/dossiers/indexation/crawl-respect-robots-txt

Bonjour,
Question bête : dans le cas d'un blog (monsite.fr/blog), il faut procéder de la même façon ou faire par exemple : Disallow: /blog/wp-login.php ?
Merci !

Daniel (vous n'êtes pas par hasard le frère de Jean ? ;)
Tout d'abord, merci, merci pour votre blog !
J'apprécie particulièrement votre façon de présenter, comme par ex. l'article ci-dessus, façon genèse.
Avoir les connaissances dans un domaine c'est une chose, savoir les transmettre c'est tout un art,
Et vous le faites très bien !
Merci encore

Bonsoir,
Je un souci avec mon fichier robots.txt.Je suis inscrit au service de référencement de Attracta et ils ont inséré trois lignes dans mon fichier robots qui commence par:
#Begin Attracta SEO Tools Sitemap.
et se termine par:
#End Attracta SEO Tools Sitemap. Do not remove
Le problème c'est que ce fichier robots n'est pas reocnnu dans Google webmaster tools. Or, je voudrais utiliser votre code. Mais même en l'insérant dans ce fichier robots.txt, il ne sera toujours pas compatible.
Avez un suggestion à me proposer?
Merci.

Salut Daniel,

Le tuto est t'il encore d'actualité stp?

Damien

Bonjour Daniel,

Question concernant les "category" de WordPress, faut-il les désindexer car on peut en effet considérer que ces pages créent une sorte de "duplicate content" des articles contenus dans chacune des catégorie ?? Est-il donc nécessaire d'ajouter ces lignes dans le fichier robots.txt :
Disallow: /category/
Noindex: /category/

Bonjour,

Dans les réglages généraux de WordPress, mon "Adresse web de WordPress" (http://www.monsite.ch/wordpress) est différente de mon "Adresse web du site" (http://www.monsite.ch).

Est-ce que dans le fichier robots.txt je dois donc insérer partout "/wordpress", soit par exemple "Disallow: /wordpress/wp-login.php" au lieu de "Disallow: /wp-login.php" ?

Merci pour votre aide!

Claude

PS: votre bouquin sur le référencement est une vraie perle, merci :-)

Bonjour, et merci pour l'article,

J'ai mis votre fichier robot mais j'ai un problème, quand je tape mon site sur google, en dessous il me met: "La description de ce résultat n'est pas accessible à cause du fichier robots.txt de ce site. En savoir plus " Quel est le problème ?

Hello Daniel,
J'ai remarqué sur mon site que la ligne Disallow: /*? empêchait de passer le test mobile friendly alors que le site est mobile responsive...Tu as déjà vu ça ?

Avec, les fichiers "css" et "js" c'est ok. J'avais pris ton ancien code.

Bonjour Daniel,

malgré les instructions dans le robots.txt, je vois toujours les URLS dans Xenu, c'est normal ?
Par exemple j'ai demandé à desindexer les URLS contenant ? ou encore /feed et toujours là visiblement :-/
J'ai réessayé de modifier le fichier, on verra dans quelques jours si ça change quelque chose.

Merci,
A+

Merci pour l'update. Testé et approuvé

Bonjour Daniel,
Existe t-il un moyen de protéger son site du vol de contenu via le fichier Robot txt ? Si oui, lequel ? Merci d'avance.

Merci pour ta réponse. Si je te comprends bien, il n'y a pas de solution.... Peut-être faut-il carrément supprimer son sitemap ? A part obtenir des liens et bosser sur le maillage interne, il n'y a pas de solution à t'entendre...

Bonjour,
Y a t-il une différence importante entre le code que vous donnez sans le point :
[code]
Allow: /*css?*
Allow: /*js?*
[/code]

et celui-ci avec le point:
[code]
Allow: /*.css?*
Allow: /*.js?*
[/code]
merci

Bonjour,

Tout d'abord merci pour cet article. J'ai reçu récemment un mail de google se plaignant de ne pas avoir accès aux fichiers JS et CSS. J'ai modifié mon fichier robots.txt qui est devenu:

User-agent: *
Disallow: /*?
Disallow: /wp-login.php
Disallow: /wp-login.php?
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
Allow: /*css?*
Allow: /*js?*
Allow: /*.css?*
Allow: /*.js?*

User-agent: Mediapartners-Google
Disallow:


Aurais-je un problème ?

Je vous remercie de votre réponse. Votre site est une mine d'information pour l'optimisation des sites sous WordPress. Bonne continuation.

Bien cordialement

Bonjour, merci pour votre article.

Combien de temps le fichier TXT est pris en compte par google parce que mon fichier Txt est toujours le même de base après l'avoir modifié, est ce que google l'a bien pris en compte ?

Merci d'avance.

Merci pour l'article. J'arrive un peu tardivement...

Y-a-t-il un moyen d'empécher GG d'indexer les pages du cache tout en lui en autorisant la lecture. J'utilise wp rocket et la quantité de css, js présente dans le cache et indexée par google est impressionnante (constaté avec l'extension redirection).

Que Google les indexe n'est pas gênant en soit, en revanche cela génère une quantité énorme de 404 lorsqu'il revient les crawler. Cela ralentit probablement mon site (je me bats actuellement pour comprendre les raisons des temps de réponse en dent de scie dans GSC).

J'ai bien pensé à interdire l'indexation du cache, mais en testant la page dans GSC GG m'indique que sont robot a été bloqué et qu'il n'a pas pu charger les ressources. Il m'indique évidemment le path du cache que j'ai interdit dans le robot.txt