L’implémentation du REP comme on a pu le voir dans les quelques articles précédents, est assez normée et simple à mettre en place.
Cependant, il existe quelques écueils dus à des erreurs d’interprétation.
Voici donc les erreurs à ne pas commettre dans la gestion des Robots.
Googlebot est psycho rigide
Le robot de Google suivra toujours la directive la [...]

Voyons voir aujourd’hui comment implémenter des directives REP dans le header http
Cela permet entre autre de spécifier des directives au niveau des pages directement pour des fichiers non texte ou html comme du .doc, . pdf etc… ou pour des images générées de façon dynamique.
Le X-Robots-Tag
Pour utiliser ce X-Robots-Tag, il suffit simplement de l’ajouter dans [...]

Après avoir vu comment spécifier des directives sur l’ensemble d’un site via le fichier robots.txt (cf le manuel du parfait dresseur de robots) on va pouvoir travailler plus en détail sur des pages isolées via l’implémentation des métas.
Les métas font partie des directives du REP qui permettent effectivement d’affiner le travail de contrôle des robots [...]

Un petit test sur le comportement de nos amis robots face aux formulaires.
A bientôt pour les résultats…
le test select

On a vu la théorie dans le dernier article, passons maintenant à la pratique… Comment va t-on dresser ces fouineurs de robots et les contraindre à notre volonté ?
Le gros avantage du REP est sa flexibilité; on peut donc définir des directives pour un site entier, un sous-domaine, un dossier, certaines pages etc… Bref [...]

Après quelques soucis récurrents avec notre ami Google qui a trouvé le moyen de m’indexer des fichiers dont j’ignorais jusqu’à l’existence je vais donc tâcher d’aller un peu plus loin dans l’analyse du fichier robots.txt.
Aujourd’hui, je vais m’attacher à la réflexion préalable : « Que va t-on donner en pâture aux robots, et que [...]

Voici une petite astuce qui relève certes de la micro optimisation mais qui peut être pertinente dans certains cas. Le principe est d’empêcher l’indexation par les moteurs des images non pertinentes (éléments de votre template: bords arrondis, listes à puces etc…).
Cela aura pour effet:
- que les moteurs pourront consacrer un maximum de temps à crawler [...]

Dans quelles mesures l’âge d’une page impactera le poids de ses liens sortants ? Vaut il mieux faire la chasse à des liens neufs sur des pages récentes ou au contraire, viser des pages établies depuis longtemps ?
Ce sera encore une fois une réponse double… Je pense qu’avec l’impact des blogs et autres modules de [...]

Google a « légèrement » revu sa définition des pages satellites : http://www.google.com/support/webmasters/bin/answer.py?answer=66355
La version française n’est pas encore complètement remaniée mais la tendance est clairement engagée sur la version en, voici une petite traduction des 2 passages qui durcissent clairement les règles du jeu:
Les pages satellites sont des groupements de pages de mauvaise qualité dans lesquels chaque [...]