L’implémentation du REP comme on a pu le voir dans les quelques articles précédents, est assez normée et simple à mettre en place.
Cependant, il existe quelques écueils dus à des erreurs d’interprétation.

Voici donc les erreurs à ne pas commettre dans la gestion des Robots.

Googlebot est psycho rigide

Le robot de Google suivra toujours la directive la plus spécifique et ignorera toute directive plus générique. Si par exemple vous spécifiez une directive pour touts les Robots (user-agents) et que vous la faite suivre d’une directive pour Googlebot, ce dernier ignorera la première. Attention donc à ne pas ouvrir beacoup plus de portes à Google que vous ne l’auriez souhaité.

Par exemple:

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /dossier-special-google/

Cette directive interdit l’accès à tous les robots bien élevés; elle est suivie d’une directive qui autorise à Googlebot l’accès au dossier /dossier-special-google/. Étant donné que Googlebot ne prend en compte que la directive la plus spécifique, il va ignorer complètement la 1ere et de ce fait accéder à l’intégralité du site pouvant transformer par exemple un lancement de site en construction en joyeux chaos.

Un lien NOFOLLOW est en fait une capote trouée

Le NOFOLLOW n’empêche en aucun cas l’indexation d’une page : les robots suivent en effet ces liens et peuvent tout autant accèder à la page via un autre lien. Le NOFOLLOW est juste une recommandation des moteurs !
Pour empêcher l’indexation d’une page, utilisez une méta NOINDEX ou un Disallow dans votre fichier robots.txt.

En parlant du NOFOLLOW, voici une petite étude menée sur l’indexation des pages contenant des liens en nofollow; et voici l’explication en français: Liens DoFollow dans les blogs

Etre trop permissif ne sert à rien

Les robots sont déja bien assez permissifs; de ce fait, l’emploi de métas FOLLOW et INDEX ne servent strictement à rien puisque par défaut les robots s’octroient le droit de tout indexer et tout suivre.

Commentaires