Screaming Frog, Qu’est-ce que c’est ? Quelles sont les alternatives ?

Si vous avez à cœur d’améliorer votre stratégie de référencement, vous savez qu’il existe de nombreux outils différents qui peuvent vous aider à optimiser un site Web ou un blog.

Chaque outil a sa propre fonctionnalité spécifique et tous peuvent être utilisés de différentes manières pour obtenir différents types de données et de résultats à des fins stratégiques ou techniques.

Aujourd’hui, nous allons voir ce qu’est Screaming Frog et comment il fonctionne, l’un des outils de référencement les plus populaires du marché.

Screaming Frog propose des fonctionnalités gratuites et payantes, toutes deux incroyablement utiles pour le référencement sur page.

Si vous n’êtes pas encore familiarisé avec cet outil efficace, il est temps de découvrir pourquoi il est essentiel de l’inclure dans votre stratégie de référencement.

Screaming Frog : ce qu’elle est et à quoi elle sert

Screaming Frog est le nom d’une société basée au Royaume-Uni qui offre une variété d’outils et de services de marketing.

Leur outil le plus connu s’appelle Screaming Frog SEO Spider, un logiciel qui utilise un Crawler, également appelé Spider, pour recueillir des informations spécifiques sur le site web analysé.

Screaming Frog n’est rien d’autre qu’un outil qui simule le crawling des robots des moteurs de recherche sur notre propre site ou celui d’un concurrent, mettant en évidence ses caractéristiques et ses déficiences structurelles.

Grâce à son tableau de bord extrêmement intuitif, vous pourrez analyser les résultats du crawling et filtrer les éléments individuels en fonction de votre analyse, ce qui vous fera gagner beaucoup de temps et d’efforts lors de votre audit de référencement.

Combien ça coûte ?

Il s’agit d’une application payante, mais il existe également une version gratuite avec diverses limitations sur l’exploration et les configurations.

En particulier, la version gratuite de Screaming Frog permet d’explorer un maximum de 500 URL par session, ce qui la rend plus adaptée aux petits sites web.

La version payante vous reviendra à 149 livres sterling par an ce qui correspond à 178 euros environ.

Comment fonctionne le Screaming Frog SEO Spider ?

Un spider est essentiellement un logiciel qui collecte des données sur Internet et les traite ensuite d’une manière spécifique.

Google, par exemple, utilise une araignée pour scanner tous les sites Web sur l’Internet afin de collecter des données qui peuvent être utilisées pour les indexer et créer de meilleurs résultats de recherche.

Avec le Screaming Frog Spider, que nous pouvons télécharger et exécuter nous-mêmes, nous pouvons rechercher des informations importantes sur le référencement de notre site, telles que.. :

• Catégories
• Métadonnées
• URL
• Contenu du texte
• …et bien plus encore !

Avantages du Screaming Frog SEO Spider

Il existe plusieurs outils de référencement, mais tous ne nous donnent pas la possibilité de rechercher, de filtrer et de personnaliser l’exploration des sites Web comme le Screaming Frog Spider.

Les avantages de l’utilisation de Screaming Frog sont nombreux, tant pour les experts en référencement que pour les novices.

Certaines d’entre elles consistent à trouver des informations essentielles sur le référencement, telles que.. :

• Ce qui fonctionne et ce qui ne fonctionne pas sur le plan technique du site scanné
• Notification de toute métadonnée manquante
• Mise en évidence des redirections erronées
• Indication des pages dupliquées
• Filtre pour la façon dont les pages sont affichées
• …et bien plus encore !

Lors de l’exécution de Screaming Frog SEO Spider, vous pouvez modifier les données spécifiques que nous allons collecter lors du prochain crawl, mais la plupart des activités de crawl seront fondamentalement configurées pour inclure les éléments suivants :

• Erreurs dans le fichier Robots.txt
• Rediriger
• Erreurs de lien
• Erreurs de serveur
• Liens externes
• Liens internes
• Classement des liens
• Sécurité des liens
• Problèmes liés aux balises de titre des pages
• Métadonnées manquantes
• Temps de réponse
• Nombre de mots dans tout le texte de la page
• Texte d’ancrage
• URL canonique
• Informations sur l’hébergement des images

Si nous recherchons un outil efficace pour effectuer un audit – littéralement une « évaluation » – d’un élément de contenu ou d’un site Web entier, nous pouvons obtenir toutes les informations dont nous avons besoin avec Screaming Frog SEO Spider

Chaque simulation de crawling effectuée par le logiciel respecte toutes les normes de Googlebot – le principal moteur de recherche de Google – afin de nous donner les meilleurs résultats en termes de référencement.

Toutefois, Screaming Frog vous permet de configurer ce que l’araignée va effectivement analyser afin d’obtenir des informations plus spécifiques sur le site que nous analysons.

En fonction de nos objectifs, il peut être utile par exemple d’examiner certaines zones d’un site qui sont normalement négligées par Googlebot lors de l’indexation afin de comprendre leur impact sur le référencement.

Faut-il acheter une licence Screaming Frog ?

L’outil est freemium, il est donc possible de l’utiliser gratuitement, mais le crawling n’est autorisé que jusqu’à 500 URL.

D’autres restrictions concernent le nombre d’intégrations et de personnalisations possibles, ce qui rend l’outil limité à certains égards.

Si nous avons besoin d’accéder à l’ensemble des fonctionnalités de Screaming Frog ou si nous devons analyser des sites comportant plus de 500 URL, nous devrons recourir à la version payante de la licence complète.

L’abonnement est actuellement de 149 £ par an – environ 178 € – mais il vaut vraiment la peine d’y penser si vous voulez débloquer certaines des fonctionnalités avancées du produit.

Les avantages de la version payante de Screaming Frog sont les suivants :

• Intégration de Google Analytics
• Intégration de Google Search Console
• Intégration de Link Metrics
• Intégration de PageSpeed Insights

Les données fournies par tous ces différents outils d’analyse permettent certainement au SEO Spider d’être encore plus fort et plus précis dans ses résultats d’exploration.

Enfin, avec la version payante, nous pouvons également sauvegarder et recharger les mêmes scans de manière beaucoup plus simple.

Vous pourriez également être intéressé par : Outils de référencement : ce qu’ils sont et comment ils fonctionnent [Mini-guide]

Tu veux en savoir plus sur "Frog, Screaming, Screaming Frog" ? 😎

Robot

Vous voulez savoir comment créer un robot qui peut voler et sauver des chats coincés dans les arbres ? Avant cela, revenons sur ce qu'est…

Guide des fonctions de base de Screaming Frog

Jetons un coup d’oeil à certaines des fonctions de base de Screaming Frog.

Nous allons nous pencher sur les plus utiles et les plus abordables, mais les possibilités offertes par cet outil sont tellement nombreuses une fois que vous le maîtrisez parfaitement.

Veuillez noter que ce mini-guide comprendra également des options de configuration du Crawler, qui ne sont disponibles qu’avec la version payante du logiciel.

Si vous utilisez la version gratuite, ignorez simplement les parties de configuration et exécutez directement le Crawler.

N’oubliez pas non plus que le logiciel n’est disponible qu’en anglais, les éléments de menu sélectionnables seront donc répertoriés dans leur terminologie d’origine

Scan complet du site web

Commençons par la fonction première de Screaming Frog, qui consiste à explorer entièrement toutes les pages d’un site Web.

Ce type d’exploration est important pour effectuer un audit préliminaire du site et de son contenu, ainsi que pour avoir une meilleure idée de ce sur quoi il faut travailler.

C’est également un excellent moyen de commencer à tester l’outil SEO Spider sans avoir à trop personnaliser l’exploration.

Voici comment effectuer un crawl de base d’un site avec Screaming Frog :

• Cliquez sur le menu « Configuration » en haut de la page
• Cliquez sur « Spider » dans le menu déroulant
• Cliquez sur « Crawl All Subdomains » si vous souhaitez obtenir une vue plus complète du site analysé, mais il est conseillé de décocher les options CSS, Images et Javascript pour effectuer un crawl initial plus rapide
• Lancez l’analyse ; sa vitesse dépendra du nombre d’options sélectionnées, de la puissance de traitement et de la mémoire de l’ordinateur
• Une fois l’analyse terminée, cliquez sur l’onglet « Interne »
• Ici, nous pouvons choisir comment filtrer les résultats et exporter les données obtenues dans différents formats (par exemple, CSV)
• Enfin, nous pouvons parcourir les données obtenues à l’aide des onglets qui apparaissent pour trouver les différents problèmes de référencement qui affectent notre site, afin de pouvoir l’améliorer

Vérification des liens avec l’outil SEO Spider

Une autre fonction utile de Screaming Frog pour améliorer le référencement consiste à vérifier les liens sur votre site Web.

Grâce à cette fonctionnalité du logiciel, vous pourrez comprendre, par exemple, combien de liens sont présents dans chacune des pages du site analysé ou s’ils fonctionnent, des activités qui normalement demanderaient énormément de temps, mais grâce à cet outil nous pouvons le faire en un instant.

Voici les étapes à suivre pour effectuer un audit de base des liens avec Screaming Frog :

• Cliquez sur « Menu de configuration »
• Cliquez sur « Spider
• Décochez toutes les options telles que CSS, Images, Javascript, Flash et autres, en ne laissant que les sous-domaines sélectionnés
• Vous pouvez également décider d’inclure ou non les liens marqués « Nofollow », c’est vous qui décidez
• Démarrer le Crawling et attendre la fin du traitement
• Une fois l’exploration terminée, cliquez sur « Tous les liens »
• Une fois cette opération effectuée, nous pourrons exporter un fichier CSV de nos liens ainsi que des informations précieuses les concernant

Voyons brièvement ce que nous pouvons faire avec les informations sur les liens que nous obtenons grâce à ce nouveau processus d’exploration.

Identifier les pages avec trop de liens

Nous pouvons utiliser la liste obtenue pour vérifier, par exemple, quelles pages du site web analysé ont trop d’ Outlinks.

En règle générale, les robots d’indexation tels que Googlebot pénalisent les pages comportant de nombreux liens sortants, de sorte que les pages comportant plus de 100 liens sortants doivent être évitées si possible.

Pour savoir quelles pages du site analysé ont plus de liens sortants que les autres, il suffit de cliquer sur l’onglet « Interne » et de trier les résultats par le nombre de liens sortants.

Trouver des pages avec des liens brisés, des mauvaises redirections, etc.

Il existe différents types de rapports d’état – c’est-à-dire des informations sur l' »état de santé » de nos liens – qui peuvent indiquer les problèmes rencontrés par le Spider lorsqu’il navigue sur le site d’un lien à l’autre.

Les rapports d’état sont généralement indiqués par des chiffres et les plus populaires dans le domaine du référencement sont les suivants :

• L’erreur 404 : indique un Broken Link, c’est-à-dire un lien brisé qui ne mène nulle part, ce qui est très dangereux au niveau du référencement car cela entraîne de lourdes pénalités dans le positionnement par Google
• Redirect 301 : indique le déplacement permanent d’une page web d’un endroit à un autre. Elles sont préférées aux redirections temporaires 302 et peuvent par exemple être utiles pour rediriger les utilisateurs d’une page 404 vers une page qui fonctionne.

Nous pouvons facilement trouver ces informations sur Screaming Frog après avoir effectué un scan en cliquant simplement sur l’onglet « Intern » et ensuite sur « Status Code ».

Nous pouvons alors trouver des rapports pour chaque type de code de statut de nos liens et trouver des moyens d’améliorer le fonctionnement de notre site.

Réalisation d’une analyse complète du contenu du site

Maintenant que nous sommes familiarisés avec certaines des données qui peuvent être obtenues à partir d’une analyse avec le Screaming Frog SEO Spider, passons à un autre domaine d’un site Web qui peut être amélioré avec cet outil : le contenu.

La répartition et la structure du contenu d’un site web constituent une part importante du classement SEO, c’est-à-dire l’ensemble des facteurs sur lesquels Google fonde ses décisions concernant le positionnement des résultats de recherche dans sa SERP.

Afin de vérifier notre contenu, nous devons configurer l’outil pour un autre crawl, cette fois en sélectionnant autant d’éléments que possible dans le menu de configuration.

Plus le nombre de données incluses dans le crawl est élevé, mieux c’est pour nous, ce qui nous permet de disposer d’un maximum d’informations pour travailler par la suite.

Voici comment mettre en place une analyse qui tient également compte de notre contenu :

• Cliquez sur « Menu de configuration »
• Cliquez sur « Spider »
• Incluez cette fois tout élément scannable (CSS, images, scripts, etc.)
• Commencer à ramper

Cette fois, l’opération demandera plus de temps de traitement, mais elle sera très utile pour obtenir des informations indispensables à l’accélération de notre site Web.

Une fois le crawling terminé, il est temps de se mettre au travail sur les données collectées.

Voyons quelles améliorations SEO nous pouvons mettre en place après un Content Crawl avec Screaming Frog.

Trouver les « contenus faibles » à supprimer ou à améliorer

Le terme « Thin Content » est généralement utilisé pour décrire un contenu de faible qualité sur un site web qui n’apporte aucune valeur.

Voici quelques exemples de « Thin Content » :

• Contenu créé automatiquement
• Spam et contenu publicitaire
• Contenu copié à partir d’autres sites web
• Contenu contenant trop de liens

En règle générale, les pages de moins de 1000 mots sont préjudiciables à nos résultats de référencement, sauf s’il s’agit d’un commerce électronique avec des listes de produits sur site.

Avec Screaming Frog, nous pouvons choisir de ne pas indexer les pages à faible contenu, de les améliorer ou de les éliminer complètement.

Pour trouver des pages avec du Thin Content, il suffit de :

• Cliquez sur l’onglet « Interne »
• Filtrer par HTML
• Trier le nombre de mots du plus grand au plus petit
• Examinez les pages qui fonctionnent moins bien

Trouver et corriger les titres trop longs

Une autre façon utile d’utiliser les résultats d’une analyse de contenu avec Screaming Frog est de trouver les titres de référencement qui sont trop longs et qui sont donc coupés dans les SERPs de Google.

Par titre de référencement, nous entendons simplement le texte souligné en bleu qui apparaît dans les extraits de la page de résultats de recherche de Google, généralement lié aux balises H1 d’une page ou d’un article.

Les titres trop longs et coupés ne sont pas bien vus par les utilisateurs, qui préféreront cliquer sur des titres courts et bien faits à la place.

Pour savoir quels Titres sont trop longs avec Screaming Frog, il suffit de

• Cliquez sur l’onglet « Titres de page »
• Filtrez les titres comportant plus de 70 caractères
• Modifier les titres problématiques à partir de là

Trouver et corriger les titres en double

Un autre problème avec les titres de nos sites web qui peut nous pénaliser sur le plan du référencement est la présence de titres dupliqués.

Même si le contenu lié à ces titres est original et que la duplication est accidentelle, il est très probable que Google pénalise les titres de référencement dupliqués, quelle que soit notre intention.

Pour trouver les pages avec des titres en double avec Screaming Frog nous pouvons :

• Cliquez sur l’onglet « Titres de page »
• Filtrer par « Occurrencies
• Identifier les pages en double en trouvant les titres répétitifs
• Supprimez un ou plusieurs doublons et réorientez-les si nécessaire

Trouver et corriger les méta-descriptions en double

La méta-description est le texte d’aperçu qui apparaît sous le titre du référencement, utile dans certains cas pour indiquer brièvement à l’utilisateur et à Google de quoi il s’agit dans la page indexée.

Si votre site comporte plusieurs pages avec la même Meta-Description, il pourrait être pénalisé par Google. Il sera donc utile de résoudre ce problème technique avec l’aide de Screaming Frog SEO Spider.

Pour savoir quelles pages ont besoin de nouvelles Meta descriptions avec Screaming Frog, il vous suffit de.. :

• Cliquez sur l’onglet « Meta Description »
• Utilisez le filtre « Occurrences » pour trouver les doublons qui apparaissent plus d’une fois
• Modifiez la méta-description pour qu’elle soit unique pour chaque page

On peut aussi utiliser le panneau « Aperçu » à droite pour identifier les pages qui souffrent de problèmes courants de référencement liés aux titres et aux descriptions.

Remplir les textes Alt manquants ou corriger les images trop longues

Nous pouvons certainement améliorer nos résultats de référencement grâce aux « textes alternatifs » des images, qui décrivent le contenu de l’image et aident les robots de Google à mieux comprendre le contenu de la page sur laquelle ils sont insérés.

Les textes Alt sont importants pour notre stratégie de référencement car ils permettent à Googlebot d’identifier ce que représente une image par le biais d’une description textuelle créée ad hoc, puisque les robots d’exploration ne reconnaissent normalement pas les images en tant que telles, mais analysent uniquement les lignes de texte et de code.

Idéalement, un texte alternatif doit comporter moins de 100 caractères. Nous pouvons donc facilement vérifier ceux qui sont trop longs ou manquants sur Screaming Frog en quelques étapes simples :

• Cliquez sur l’onglet « Images »
• Pour trouver les textes alt manquants, utilisez le filtre « Texte alt manquant » en haut de la page
• Pour trouver les textes Alt trop longs, définissez les filtres de manière à n’afficher que les textes Alt de plus de 100 caractères

Résoudre les problèmes liés aux URL

Un autre onglet utile qui apparaît après une analyse complète du contenu avec Screaming Frog est l’onglet URL.

Une fois sélectionné, nous pouvons découvrir de nombreuses informations utiles pour améliorer encore notre site web en termes de référencement grâce aux filtres.

Par exemple, nous pouvons savoir s’il y a des doublons d’URL, ou si une même page a plusieurs URL similaires qui mènent toutes à la même adresse, ou si le « www » manque sur d’autres.

L’URL dite canonique doit être appliquée à ces pages, ce qui indiquera à Google, en cas de duplication d’URL, laquelle des pages doit être considérée comme la page principale, en ignorant les autres dans le balayage de ses robots.

Nous pouvons également utiliser les différents filtres disponibles pour savoir s’il existe des URL difficiles à comprendre pour les utilisateurs.

Pour ce faire, il suffit de faire défiler la section « Aperçu » sur le côté droit de l’écran de Screaming Frog jusqu’à ce que vous voyiez le sous-menu « URL ».

Une URL difficile à comprendre peut, par exemple, contenir beaucoup d’underscore – c’est-à-dire un trait de soulignement – et paraître étrange aux yeux de l’utilisateur qui ne cliquera pas dessus.

Alternatives à Screaming Frog

Bien que son nom soit l’un des plus populaires dans le monde du référencement, Screaming Frog n’est certainement pas le seul outil de crawling et d’audit SEO disponible sur le marché.

Nous vous présentons ci-dessous quelques bonnes alternatives.

Le Crawler de refbax.com

Nous proposons un outil qui vous aidera à analyser votre site internet rapidement. Il est actuellement en phase de test, mais il n’en reste pas moins fonctionnel. Découvrez-le dès à présent.

SEO PowerSuite Website Auditor

SEO PowerSuite combine quatre outils différents pour gérer toutes nos activités de référencement.

WebsiteAuditor est un outil d’audit de site web très populaire qui apporte avec lui de nombreuses fonctionnalités utiles.

L’outil peut être utilisé sur tout système d’exploitation tel que Mac, Windows ou Linux.

Son SEO Spider analyse les sites Web comme le ferait n’importe quel moteur de recherche, et peut pénétrer profondément dans n’importe quelle page pour trouver tout élément à optimiser (HTML, JS, CSS, Flash, vidéo, images, etc.)

Avec le Website Auditor de SEO PowerSuite, nous pouvons également analyser un site selon les instructions du fichier robots.txt et obtenir ensuite les résultats des pages effectivement consultées par le moteur de recherche.

Website Auditor vous permet également de générer un Sitemap XML et un fichier robots.txt, ainsi que de créer ou de modifier vos propres titres et descriptions et de prévisualiser le snippet directement dans l’application.

Enfin, vous pouvez également programmer des actions d’exploration et télécharger des rapports qui peuvent être facilement partagés via des liens ou en tant que pièces jointes.

SEMrush

SEMrush est un outil de référencement très populaire qui est dédié non seulement aux experts en marketing mais aussi aux débutants.

Ses points forts restent la recherche de mots-clés et l’analyse PPC, mais il peut également être utilisé pour l’analyse des liens retour, l’optimisation de notre contenu, le suivi de notre position dans les SERPs et l’audit de notre propre site et de celui d’un concurrent.

En particulier, l’outil d’audit de SEMrush hiérarchise les problèmes trouvés sur le site en fonction de leur gravité, de sorte que nous savons quels problèmes nous devons traiter en premier.

Nous pouvons également utiliser SEMrush pour vérifier les erreurs de protocole HTTPS afin de nous assurer que notre site ne présente aucune faille de sécurité.

D’autres caractéristiques utiles de SEMrush en termes de rapports de référencement incluent :

• Correction des images endommagées
• Vérification du contenu dupliqué
• Vérifier le texte Alt des images
• Vérification des pages comportant des erreurs 404 et des redirections

Toute activité de référencement nécessite une mise à jour et un suivi constants, et SEMrush nous y aide en nous permettant de programmer le crawling et de vérifier si et comment nos efforts produisent des résultats.

Ahrefs

La force d’Ahrefs réside dans la fraîcheur des données qu’il fournit.

C’est un outil très utilisé pour l’analyse de la concurrence, l’audit des liens retour et la promotion stratégique du contenu.

Pour l’audit de référencement, Ahrefs s’appuie sur un robot d’exploration basé sur le cloud qui analyse nos URL pour révéler tout problème allant à l’encontre des directives de référencement.

L’outil possède une interface utilisateur graphique très intuitive et la variété des rapports visuels générés après chaque analyse nous aidera à comprendre les résultats très facilement.

De plus, c’est un logiciel très rapide qui ne prendra pas des jours mais quelques heures pour une analyse complète d’un site en fonction du nombre de pages analysées.

MOZ Pro

Quelle que soit la tâche de référencement à laquelle vous voulez vous attaquer, MOZ Pro vous viendra en aide.

Grâce à cet outil de référencement populaire, nous pouvons non seulement découvrir les problèmes de référencement du site que nous analysons, mais aussi les comprendre et les corriger instantanément.

Le tableau de bord MOZ peut nous montrer, par exemple, les nouveaux problèmes détectés, le nombre de pages explorées ou les problèmes les plus graves à résoudre instantanément grâce à des représentations pictographiques avec des graphiques en couleur qui peuvent nous aider à mieux comprendre le niveau de criticité.

Nous pouvons également marquer les problèmes trouvés afin de les diviser en problèmes à résoudre immédiatement, à ignorer ou à résoudre plus tard, avec l’avantage de nécessiter un nouveau crawl dès qu’ils sont résolus.

Link Sleuth de Xenu

Xenu’s Link Sleuth est simplement une application de bureau entièrement gratuite pour vérifier nos liens brisés.

Cependant, il faut dire que l’application est constamment mise à jour, et continue d’ajouter des fonctions utiles pour un audit SEO plus complet.

Il s’agit notamment de :

• Signaler les liens incohérents
• Test de la trajectoire d’une araignée
• Rapport sur les erreurs de liaison entrantes et sortantes
• Signaler les retards dans l’optimisation On-Page

Cet outil génère également des rapports simples mais précis, mais étant gratuit, il présente encore de nombreuses limites et ne peut rivaliser avec des outils plus avancés et payants qui permettent un audit complet du site qui nous intéresse.

Deepcrawl

Deepcrawl est un outil entièrement optimisé pour le crawling de sites, ainsi que pour l’identification et la correction d’éventuels problèmes de référencement.

Comme son nom l’indique, cet outil va très loin dans la structure du site Web analysé pour générer des rapports critiques sur de nombreux aspects pertinents

Mais le véritable avantage de DeepCrawl est qu’il prend en compte les pénalités algorithmiques de Google telles que Panda et Penguin, identifiant selon leurs règles si et où le site scanné risque d’être mis sur liste noire.

DeepCrawl offre également une large gamme d’outils analytiques pour optimiser le classement dans les moteurs de recherche, ainsi que pour améliorer l’expérience utilisateur de votre site.

Voyons-en quelques-uns :

• Suppression des pages brisées
• Backlinks Banchmarking
• Contrôle du contenu
• Détection des doublons
• Identifier les pages orphelines
• Test du Sitemap XML
• Visualisation des rapports avec graphiques
• Détection des erreurs de réponse du serveur
• Possibilité de comparer notre stratégie de référencement avec celle de nos concurrents

Tu veux en savoir plus sur "Frog, Screaming, SEO" ? 😎

Générateur de Sitemap XML

Quelquefois, les robots de recherche peuvent explorer un site plusieurs fois par jour, en particulier si vous publiez de nouveaux articles tout au long de…