Pour plus de crawl sur vos sites

Pour plus de crawl sur vos sites, suivez le guide

Vendredi 01 Janvier 2010

Le bon référencement de vos sites passe obligatoirement par un grand nombre de crawls sur ce dernier. Pour que les moteurs de recherche passent le plus souvent possible sur vos sites, et qu'ils positionnent ainsi un maximum de vos pages dans leurs résultats, nous avons préparé une série de conseils inmanquables.

A la base de tout bon référencement : la quantité de contenu. Les moteurs de recherche favorisent non seulement les sites où le contenu est conséquent, mais d'autant plus ceux où le contenu est fréquemment renouvelé. Mettre à jour le plus souvent possible de contenu rappelle aux moteurs de recherches que le site est "vivant" et qu'il vaut la peine d'être examiné. Retrouvez ici quelques conseils pour l'optimisation de vos contenus.

En revanche, ce qu'il faut éviter, c'est la trop forte duplication de contenu. Le duplicate content est l'ennemi du bon crawl. Contrairement à ce que beaucoup croient, présenter des URL dupliqués sur leur site n'améliore pas le renférencement, bien au contraire. Cela donne moins d'importance aux "vraies" pages de vos sites.

Le linking interne doit être obligatoirement travaillé. Obtenir des backlinks n'est pas de toute facilité, puisque cela dépend de sites extérieurs. En revanche, créer un bon réseau de liens internes vers vos pages les plus importantes est largement de votre ressort. Cela facilitera les crawls des moteurs de recherche dans le sens où plus il existe de chemin menant à vos pages essentielles, plus le moteur les trouvera. Le page rank sculpting, qui guide les crawlers sur les liens essentiels au référencement, et les éloigne des liens inutiles, est aussi une technique efficace pour un bon crawl.

Que des liens provenant de sites de qualités très crawlés pointent votre site est un excellent point pour le référencement. Obtenir des backlinks est, comme nous l'avons dit plus haut, un exercice difficile mais il est essentiel. Ce peut être fait de plusieurs façons : créer du contenu et entretenir un bon linkbaiting, pratiquer un démarchage plus direct et plus actif...

Attention à ce que vos pages ne mettent pas trop de temps à charger. Dans la moyenne des bonnes performances, le temps de chargement ne devrait pas excéder 1seconde! Non seulement cela pose problème à l'internaute (qui risque de désespérer et de se diriger vers un autre site) mais les moteurs n'apprécient pas non plus (ils "désespéreront" de la même façon et stopperont le crawl sur votre site). Le journal du serveur (logs) et votre compte webmaster tools vous permettront de savoir où vous en êtes du point de vue du nombre de pages crawlées sur vos sites et du temps de chargement de ces dernières.

Evitez les erreurs de types "erreur 404". Ce type d'erreur se produit lorsque vos pages mettent trop de temps à charger, que le serveur ne les trouve pas, qu'elles n'existent pas ou plus. Pour corriger les bugs qui mèneraient à cette réponse lorsqu'un internaute voudra visiter vos pages, servez vous du monitoring de cet indicateur.

Pour améliorer le crawl sur vos sites, il faut, et cela paraît logique, qu'il soit présent sur les sites fortement crawlés. Si ces sites relayent vos contenus par des backlinks, le moteur de recherche, en les crawlant, suivra le chemin et viendra crawler les vôtres. Les moyens sont nombreux : communiqués en ligne, agrégateur de flux RSS, réseaux sociaux, sites communautaires, etc...

De nombreux élements peuvent bloquer ou limiter le référencement, il faut les déjouer. Les "Spiders traps" (c'est à dire l'ensemble de ces obstacles) comprennent par exemples les login et les mots de passe pour entrer dans le site, les pages orphelines, etc...

Evitez des requêtes inutiles aux serveurs. S'ils ne supportent pas la charge des pages, ils provoquent des ralentissements voire des arrêts nets du chargement. Pour éviter de tels désagrements, stockez certaines pages dans le cache. Voir ici pour une meilleure gestion du cache.

Autre élément à controler : le nombre de clics nécessaires entre une page donnée et la page d'accueil. La profondeur de vos contenus ne doit pas excéder 5 clics. Limiter cet élément est nécessaire au bon référencement dans le sens où moins il y aura de clics entre la page et la home page, plus cette dernière sera crawlée et donc mieux elle sera référencée. Le linking interne est nécessaire pour limiter les clics.