Agence SEO.fr > Outils SEO > Comparatif de 3 crawlers gratuits

Comparatif de 3 crawlers gratuits

Pour ceux qui ne connaissent pas, un crawler est un logiciel permettant de parcourir un site comme le ferait un robot d’un moteur de recherche. Crawler un site permet de comprendre l’architecture d’un site et d’observer les erreurs sur celui-ci.

Lorsque vous lancer un crawler sur un site web vous aurez accès à un grand nombre d’informations très utiles : erreurs 404, balise TITLE des pages, statut de la page, profondeur de la page, poids, nombre de liens entrants et sortants..

Crawler un site vous permet de rapidement vous faire une idée sur l’état de santé SEO d’un site web.

Ils existent plusieurs logiciels, les gratuits, les payants et les services en ligne.

Les crawlers gratuits

Xenu

Xenu est surement le crawler le plus connu de tous. Simple d’utilisation et léger, il est pratique à utiliser. Il est vrai qu’il commence un peu à vieillir.

Lorsque vous lancez Xenu, il suffit de renseigner l’adresse du site web à crawler. Quelques minutes plus tard, ou quelques heures en fonction de la taille du site, vous aurez accès à toutes vos données. Comme pour tous les crawlers vos données sont classées par URLs dans un tableau.

Le crawl du site vous donnera accès aux données suivantes :

  • URL : adresse de chaque page
  • Statut : page trouvée, erreur 404, erreur serveur, 301,302, nom de domaine introuvable, authentification requise.
  • Title : donne l’ancre du lien qui pointe vers la page et non le contenu de la balise Title
  • Date : Date de création du fichier
  • Level : le niveau ou se trouve la page depuis la page d’accueil. En combien de clic est accessible la page.
  • Out Links : Nombre de liens sortants de la page en question
  • In Links : Nombre de liens qui pointent vers la page
  • Duration : Temps d’accès
  • Charset : le jeu de caractères utilisé
  • Description : contenu de la balise meta description

– Export des données :

Avec Xenu, vous pouvez exporter vos données au format CSV pour ensuite les traiter sur Excel. Il est également possible de générer un Google sitemap automatiquement.

Ce logiciel a la particularité de fonctionner sous Windows, Mac et Linux

Il est également possible d’exporter les données pour GraphViz. Une fois GRaphViz installé vous pouvez générer un graphe qui vous donne l’arborescence de votre site web.

Cependant avec cette fonctionnalité dès que le site à plusieurs centaines de pages les graphes deviennent quasi inexploitables et GraphViz plante tout le temps.

LinkExaminer

Une alternative de taille à Xenu, se crawler gratuit est également rapide et léger. Il se présente sous la même forme que Xenu à quelques détails près. Le principe est le même vous entrez votre adresse et vous lancez le crawl. Le reste se fait tout seul.

Une fois le crawl terminé vous aurez accès aux données suivantes :

  • URL
  • HTTP Code : code renvoyé par le serveur (200,301,302,404)
  • HTTP Message : message renvoyé par le serveur (OK, redirection permanente.)
  • Internal : lien interne ou externe
  • Nofollow : attribut nofollow ou non
  • Dynamic : URL générée automatiquement ou non
  • Relative : URL relative ou absolue
  • SEO : donne des indications sur le TITLE ou Meta Description (TITLE trop long, Description absente, meta keywords absente.)
  • TITLE : Contenu de la balise TITLE
  • Depth : profondeur de la page
  • In : nombre de liens entrants
  • Out : nombre de liens sortants
  • Content Type : type du contenu (text/html, image, javascript.)
  • Last modified : dernière modification
  • Link Type : Type de lien (a href, image, form. )
  • Similarity : test la similitude des pages internes

Ce crawler a le mérite de donner plus d’informations que Xenu. Toutes les infos données ne paraissent pas indispensables. Savoir que la balise Meta keywords est absente de la page n’intéresse pas trop ?

Les lignes en vert affichent les pages dont le statut est OK, les lignes rouges affichent les URLs dont les pages ont une erreur (404, erreur serveur, ndd introuvable.).

La colonne SEO ne me parait pas indispensable non plus. Sachant que j’exporte les données dans Excel pour les traiter, tout ce qui est longueur du TITLE, le traite autrement.

Par contre, vous pouvez demander d’afficher qu’un type d’URLs (internes, 404, externes, redirections.), une fonctionnalité très pratique.

– Export des données :

Comme sur Xenu l’export se fait en CSV. Vous pouvez également faire un export en XML pour générer un sitemap.

Free SEO Toolkit de Microsoft

Ce crawler se présente un peu différemment. Personnellement la présentation de l’outil est moins rustique que les deux autres. Contrairement aux deux autres Microsoft a intégré un gestionnaire de projet. C’est pratique quand vous lancez le logiciel, il vous affiche directement vos différents projets.

Comme sur les autres crawlers, il s’agit de lancer un crawl en renseignant une page web. Ensuite ça tourne.

Le rapport ne se fait pas exactement sous forme d’un seul tableau. Avec Seo Toolkit, il y a des onglets qui permettent d’accéder à différentes catégories.

L’affichage se fait sous forme de fenêtres, il est vrai que sur un petit écran l’affichage n’est pas très pratique.

L’avantage principal que je vois avec ce crawler est qu’il me parait plus robuste que les autres. Quand il s’agit de crawler des sites de plus de 100 000 pages SEO Toolkit plante beaucoup moins que les autres.

Autre fonctionnalité : SEO toolkit affiche quelques stats intéressantes comme :

  • Status Code Summary : nombre de pages en fonction du statut (404 ; ok, 301.)
  • Liste de tous les liens sortants
  • Liste des documents dupliqués
  • Liste de pages pour chaque dossier
  • Liste des balises Title en double
  • Liste des meta description en double
  • Liste des pages avec des liens morts

Pas la peine de préciser que celui-ci il ne fonctionne que sur Windows !

Il s’agit d’un module à installer sur IIS7. Il faudra donc installer IIS auparavant.

Pour conclure

Le crawler parfait n’existe pas, c’est d’ailleurs pour cela que j’utilise souvent deux crawlers différents. Pour ma part, j’utilise LinkExaminer pour les petits sites et SEO Toolkit pour les gros sites, car il plante moins. Au niveau de l’interface, je trouve que celle de microsoft est agréable visuellement, mais pas très ergonomique pour des petits écrans.

Vous souhaitez travailler avec notre agence ?

--> -->