Référençor nous gratifie aujourd’hui d’une nouvelle astuce (secrète bien entendu : tous les référenceurs sont des maîtres du Vaudoo).

A l’époque embauché par une régie, Référençor démarchait en direct des annonceurs online leur proposant de se positionner comme apporteur d’affaire. Voici un compte rendu de la discussion:

R. – Bonjour, nous nous proposons d’intégrer votre flux XML [...]

Les robots quand ils viennent sur mon site c’est disneyland, ils vont où ils veulent !

C’est en parlant de l’implémentation du REP avec un ami qui gère le site d’une agence de voyages qu’est sorti cette phrase…
Or sachant que les robots ne disposent que de ressources limitées à accorder au crawl de chaque site, ce [...]

Vous avez suivi tous les conseils d’implémentation du REP, rempli vos métas, imbriqué vos directives dans le robots.txt et malheur ! après le 1er passage d’un robot, une bonne partie de vos urls bloquées se retrouve dans l’index de l’Ogre Google (cf. l’explication officielle).
Il arrive qu’un contenu bloqué soit cependant linké; dans ce cas, google [...]

L’implémentation du REP comme on a pu le voir dans les quelques articles précédents, est assez normée et simple à mettre en place.
Cependant, il existe quelques écueils dus à des erreurs d’interprétation.
Voici donc les erreurs à ne pas commettre dans la gestion des Robots.
Googlebot est psycho rigide
Le robot de Google suivra toujours la directive la [...]

Voyons voir aujourd’hui comment implémenter des directives REP dans le header http
Cela permet entre autre de spécifier des directives au niveau des pages directement pour des fichiers non texte ou html comme du .doc, . pdf etc… ou pour des images générées de façon dynamique.
Le X-Robots-Tag
Pour utiliser ce X-Robots-Tag, il suffit simplement de l’ajouter dans [...]

Après avoir vu comment spécifier des directives sur l’ensemble d’un site via le fichier robots.txt (cf le manuel du parfait dresseur de robots) on va pouvoir travailler plus en détail sur des pages isolées via l’implémentation des métas.
Les métas font partie des directives du REP qui permettent effectivement d’affiner le travail de contrôle des robots [...]

On a vu la théorie dans le dernier article, passons maintenant à la pratique… Comment va t-on dresser ces fouineurs de robots et les contraindre à notre volonté ?
Le gros avantage du REP est sa flexibilité; on peut donc définir des directives pour un site entier, un sous-domaine, un dossier, certaines pages etc… Bref [...]

Après quelques soucis récurrents avec notre ami Google qui a trouvé le moyen de m’indexer des fichiers dont j’ignorais jusqu’à l’existence je vais donc tâcher d’aller un peu plus loin dans l’analyse du fichier robots.txt.
Aujourd’hui, je vais m’attacher à la réflexion préalable : « Que va t-on donner en pâture aux robots, et que [...]

Il est désormais possible de soumettre les sitemaps correspondants à des domaines différents mais hébergés sur un seul host via le fichier robots.txt :
- Google trouvait déja de lui même l’emplacement du sitemap via le robots.txt mais seulement pour des urls correspondantes au host sur lequel le sitemap était hébergé.
- Il a ensuite été possible [...]

Le protocole d’ exclusion des robots (REP) est un regroupements de standards qui régissent le comportement des robots et des méthodes d’ indexation des moteurs de recherche. D’ailleurs, on parle « d’ exclusion », mais le REP permet aussi les différents mécanismes d’i nclusion.
Le REP est constitué des éléments suivants:
1. Le REP original de 1994 [...]