Comparatif de 3 crawlers gratuits

Xenu, LinkExaminer & SEO Toolkit

Accueil » Outils SEO » Comparatif de 3 crawlers gratuits

crawlersPour ceux qui ne connaissent pas, un crawler est un logiciel permettant de parcourir un site comme le ferait un robot d’un moteur de recherche. Crawler un site permet de comprendre l’architecture d’un site et d’observer les erreurs sur celui-ci.

Lorsque vous lancer un crawler sur un site web vous aurez accès à un grand nombre d’informations très utiles : erreurs 404, balise TITLE des pages, statut de la page, profondeur de la page, poids, nombre de liens entrants et sortants..

Crawler un site vous permet de rapidement vous faire une idée sur l’état de santé SEO d’un site web.

Ils existent plusieurs logiciels, les gratuits, les payants et les services en ligne.

Les crawlers gratuits

Xenu

Xenu est surement le crawler le plus connu de tous. Simple d’utilisation et léger, il est pratique à utiliser. Il faut avouer qu’il commence un peu à vieillir.

Lorsque vous lancez Xenu il suffit de renseigner l’adresse du site web à crawler. Quelques minutes plus tard, ou quelques heures en fonction de la taille du site, vous aurez accès à toutes vos données. Comme pour tous les crawlers vos données sont classé par URLs dans un tableau.

Le crawl du site vous donnera accès aux données suivantes :

  • URL : adresse de chaque page
  • Statut : page trouvée, erreur 404, erreur serveur, 301,302, nom de domaine introuvable, authentification requise.
  • Title : donne l’ancre du lien qui pointe vers la page et non le contenu de la balise Title
  • Date : Date de création du fichier
  • Level : le niveau ou se trouve la page depuis la page d’accueil. En combien de clic est accessible la page.
  • Out Links : Nombre de liens sortants de la page en question
  • In Links : Nombre de liens qui pointent vers la page
  • Duration : Temps d’accès
  • Charset : le jeu de caractères utilisé
  • Description : contenu de la balise meta description

- Export des données :

Avec Xenu vous pouvez exporter vos données au format CSV pour ensuite les traiter sur Excel. Il également possible de générer un Google sitemap automatiquement.

Ce logiciel a la particularité de fonctionner sous Windows, Mac et Linux.

Téléchargement de Xenu.

Il est également possible d’exporter les données pour GraphViz. Une fois GRaphViz installé vous pouvez générer un graphe qui vous donne l’arborescence de votre site web.

J’avoue ne jamais utiliser cette fonctionnalité car dès que le site à plusieurs centaines de pages les graphes deviennent quasi inexploitables et GraphViz plante tout le temps.

LinkExaminer

Une alternative de taille à Xenu, ce crawler gratuit est également rapide et léger. Il se présente sous la même forme que Xenu à quelques détails près. Le principe est le même vous entrez votre adresse et vous lancez le crawl. Le reste se fait tout seul.

Une fois le crawl terminé vous aurez accès aux données suivantes :

  • URL
  • HTTP Code : code renvoyé par le serveur (200,301,302,404)
  • HTTP Message : message renvoyé par le serveur (OK, redirection permanente.)
  • Internal : lien interne ou externe
  • Nofollow : attribut nofollow ou non
  • Dynamic : URL générée automatiquement ou non
  • Relative : URL relative ou absolue
  • SEO : donne des indications sur le TITLE ou Meta Description (TITLE trop long, Description absente, meta keywords absente.)
  • TITLE : Contenu de la balise TITLE
  • Depth : profondeur de la page
  • In : nombre de liens entrants
  • Out : nombre de liens sortants
  • Content Type : type du contenu (text/html, image, javascript.)
  • Last modified : dernière modification
  • Link Type : Type de lien (a href, image, form. )
  • Similarity : test la similitude des pages internes

Ce crawler a le mérite de donner plus d’informations que Xenu. Toutes les infos données me paraissent pas indispensables. Savoir que la balise Meta keywords est absente de la page ne me m’intéresse pas trop ?.

Les lignes en vert affiche les page dont le statut est OK, les lignes rouges affichent les URLs dont les pages ont une erreurs (404, erreur serveur, ndd introuvable.).

La colonne SEO ne me parait pas indispensable non plus. Sachant que j’exporte les données dans Excel pour les traiter, tout ce qui est longueur du TITLE je le traite autrement.

Par contre, vous pouvez demander d’afficher qu’un type d’URLs (internes, 404, externes, redirections.), une fonctionnalité très pratique.

- Export des données :

Comme sur Xenu l’export se fait en CSV. Vous pouvez également faire un export en XML pour générer un sitemap.

Télécharger LinkExaminer.

Free SEO Toolkit de Microsoft

Ce crawler se présente un peu différemment. Personnellement j’aime bien la présentation de l’outil que je trouve moins rustique que les deux autres. Contrairement aux deux autres Microsoft a intégré un gestionnaire de projet. C’est pratique quand vous lancez le logiciel il vous affiche directement vos différents projets.

Comme sur les autres crawlers il s’agit de lancer un crawl en renseignant une page web. Ensuite ça tourne.

Le rapport ne se fait pas exactement sous forme d’un seul tableau. Avec Seo Toolkit il y a des onglets qui permettent d’accéder à différentes catégories.

L’affichage se fait sous forme de fenêtres, il faut avouer que sur un petit écran l’affichage n’est pas très pratique.

L’avantage principal que je vois avec ce crawler est qu’il me parait plus robuste que les autres. Quand il s’agit de crawler des sites de plus de 100 000 pages SEO Toolkit plante beaucoup moins que les autres.

Autre fonctionnalité : SEO toolkit affiche quelques stats intéressantes comme :

  • Status Code Summary : nombre de page en fonction du statut (404; ok, 301.)
  • Liste de tous les liens sortants
  • Liste des documents dupliqués
  • Liste de pages pour chaque dossier
  • Liste des balises Title en double
  • Liste des meta description en double
  • Liste des pages avec des liens morts

Pas la peine de préciser que celui-ci il ne fonctionne que sur Windows !*

Il s’agit d’un module à installer sur IIS7. Il faudra donc installer IIS auparavant.

Télécharger Free SEO Toolkit

4) Test de rapidité :

J’ai effectué un petit test pour lequel était le plus rapide. Avec 10 threads les scores sont très serrés. J’ai effectué le test sur un site 1 000 pages. Xenu à mis 1min57s Seo Toolkit a mis 1min45s et LinkExaminer a mis 1min42s. Il faudrait faire le test avec un gros site pour voir, mais ça devient long comme test.

Pour conclure

Le crawler parfait n’existe pas, c’est d’ailleurs pour cela que j’utilise souvent deux crawlers différents. Pour ma part j’utilise LinkExaminer pour les petits sites et SEO Toolkit pour les gros sites car il plante moins. Au niveau de l’interface je trouve que celle de microsoft est agréable visuellement mais pas très ergonomique pour des petits écrans.

Par Jérôme Lecombe (mindeez)

Partager cette ressource :

Postez une question

Une question à poser ? Un avis à partager ? Nos consultants SEO interviennent pour échanger avec vous.

Votre adresse e-mail ne sera pas publiée. Les champs indiqués avec un astérisque sont obligatoires.

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Current ye@r *