Comment rendre un site web crawlable ?

Quelle est la chose la plus importante que vous pouvez faire pour que votre site apparaisse dans les résultats de recherche ?

Un site web adapté aux robots permet aux moteurs de recherche de découvrir facilement son contenu et de le rendre disponible à tous les utilisateurs.

Le crawl, ou la visite d’un robot pour collecter des informations, est la première étape de la (longue) procédure qui se termine lorsque votre site est classé premier dans la page des résultats de recherche. Cette étape est tellement importante que l’un des porte-parole de Google, Gary Illyes, pense qu’il faut l’affirmer en majuscules :

Nous [Google] n’insistons visiblement pas suffisamment pour que les webmasters se concentrent sur les choses les plus importantes. Comme CONSTRUIRE UN SITE CRAWLABLE.
Gary Illyes (Chief of Sunshine and Happiness & Trends Analyst chez Google) / 8 février 2019 Reddit AMA sur r/TechSEO

Un site crawlable permet aux robots des moteurs de recherche de réaliser des tâches basiques :

• Découvrir qu’une page existe à travers des liens pointant vers elle
• Atteindre une page depuis plusieurs points d’entrée sur le site, comme la page d’accueil
• Examiner les contenus d’une page
• Trouver les liens d’autres pages

Les étapes que vous pouvez réaliser pour rendre votre site crawlable doivent couvrir tous ces aspects.

Donner les bonnes instructions aux robots

Les Googlebots suivent les instructions des sites web. Ces instructions peuvent apparaître dans différentes localisations :

• Les propriétés robots des balises meta d’une page
• Les balises x-robots dans le header d’une page, particulièrement pour les URLs qui ne sont pas des pages HTML
• Les fichiers robots.txt du site
• Les paramètres du serveur du domaine dans le fichier htaccess

Les pages où les sections de site interdites aux robots ne sont pas crawlables car non accessibles par Google.

Lorsque vous fournissez des instructions aux robots, gardez en tête que Google crawle régulièrement avec les robots suivants :

Vous pouvez voir comment le fichier robots.txt de votre site cible ces robots en utilisant un crawler SEO qui respecte les directives des robots et en lançant un crawl avec “Googlebot” dans le nom du user agent du robot.

 

Auditer toutes les pages de votre site pour vérifier les instructions données aux robots est aussi très simple : toutes les pages apparaissant dans Google doivent autoriser les googlebots à les crawler.

 

Suivre la performance du serveur

Les sites avec des pages contenant des erreurs de serveur sont inaccessibles pour les robots (et les utilisateurs !) tant que l’erreur est présente. Des erreurs récurrentes ou systématiques peuvent aussi avoir un effet négatif sur le SEO en général.
Vous pouvez suivre les erreurs de votre site grâce à des crawls réguliers et en corrigeant les pages avec un statut HTTP 400 ou 500.

Penser l’architecture du site avec précaution

L’architecture d’un site désigne la manière dont un visiteur, que ce soit un utilisateur ou un robot, passe d’une page à une autre en utilisant les liens d’un site. Cela inclut non seulement les liens du menu navigationnel, mais aussi les liens dans le contenu d’une page et tous les liens du footer.

Un bon design d’architecture de site inclut les standards suivants :

1. Créer plus de liens pour les pages les plus importantes
2. S’assurer que toutes les pages qui existent ont au moins un lien vers elles
3. Réduire le nombre de clics nécessaires pour aller de la page d’accueil vers d’autres pages

Ces trois standards sont basés sur la manière dont les crawlers des moteurs de recherche se comportent :

 

Des liens d’autres pages sur le même site peuvent aider les moteurs de recherche à établir l’importance relative d’une page sur le site. Cela aide les robots à déterminer si un contenu est de qualité. En résumé, une page avec beaucoup de liens pointant vers elle est souvent plus importante qu’une page recevant peu de liens.

 

En terme de négligence, les pages orphelines, des pages avec aucun lien pointant vers elles, sont problématiques. À moins qu’il y ait des liens externes vers les pages orphelines, ces pages sont invisibles aux moteurs de recherche. La clef pour les rendre crawlables est d’ajouter des liens vers elles depuis une page qui fait déjà partie de l’architecture de votre site.

 

À cause du délai entre le moment où une page est découverte, où elle est crawlée et lorsque les liens qu’elle comporte sont crawlés, les pages qui sont situées loin des points clés du site (comme la page d’accueil) peuvent mettre un moment avant d’être crawlées par les moteurs de recherche. La distance depuis la page d’accueil, appelée la profondeur de page, peut être réduite en ajoutant des liens vers les pages profondes sur les pages catégorie et les autres pages qui sont plus proches de la page d’accueil.

Utiliser une technologie web accessible aux moteurs de recherche

Il existe un écart entre ce que font les navigateurs modernes et ce que fait Google actuellement.
Martin Splitt (Webmaster Trends Analyst chez Google) / Oct. 30 2018 Google Webmaster hangout

La technologie utilisée par les crawlers web pour accéder au contenu d’une page est actuellement basée sur Chrome 41 (M41). Si vous utilisez une version à jour de Chrome en mars 2019, vous êtes probablement sur une version de Chrome 72 ou Chrome 73. Bien qu’il s’agisse d’un grand écart, Google affirme qu’ils travaillent à le réduire.

Les principales différences concernent l’accompagnement pour les rich media et les technologies additionnelles. Google fournit des détails dans la documentation de Chrome et sur la page de documentation pour le service de rendu web. 

Cela ne signifie pas que vous ne pouvez pas inclure du contenu média riche comme Flash, Silverlight ou des vidéos sur votre site. Cela signifie simplement que n’importe quel contenu que vous intégrez dans ces fichiers devra toujours être disponible en format texte ou il ne pourra pas être accessible du tout aux moteurs de recherche.
— Google Webmaster Support

Si vous êtes particulièrement préoccupés par le JavaScript, vous devriez regarder la série de vidéos de Google ou lire les suggestions de Maria Cieslak pour apprendre à travailler avec JavaScript sans que cela ne soit un cauchemar.

S’assurer que les informations clés sont rendues ___ et __

Les mots-clés manquant dans le titre sont “en premières” et “par le serveur”.
Google a récemment publié un article recommandant le rendu dynamique. Cette procédure permet au contenu JavaScript d’être crawlé plus rapidement en fournissant aux crawlers le contenu préalablement préparé par le serveur (rendu côté serveur ou SSR). Cela s’applique même si vous fournissez aux utilisateurs un HTML ou un JavaScript brut qui seront ensuite interprétés par le navigateur (rendu côté client, ou CSR).

Le rendu dynamique requiert que votre serveur web puisse détecter les crawlers (par exemple, en utilisant le user agent). Les requêtes des crawlers sont acheminées vers un moteur de rendu, les requêtes des utilisateurs sont servies normalement. Si nécessaire, le rendu dynamique sert une version du contenu appropriée pour le crawler. Par exemple, il peut servir une version statique du HTML. Vous pouvez choisir d’autoriser le rendu dynamique pour toutes les pages ou page par page.
— Google Developers’ Guide / Dernière modification le 4 février 2019

Il y a eu quelques débats pour déterminer si cette pratique n’était pas du cloaking, qui est sujet à des pénalités. C’est une manière de fournir du contenu non identique au utilisateurs et aux robots.
L’objectif est de s’assurer que votre contenu peut être vu et interprété par tous les visiteurs, qu’il s’agisse d’utilisateurs ou de robots. Quelques experts SEO comme Jan-Willem Bobink, soutiennent le rendu côté serveur à des fins SEO.
Si vous fournissez du contenu non rendu, assurez-vous que votre contenu principal est disponible dans le HTML basique de la page. Le rendu peut être retardé si des éléments bloquent le contenu en étant absents, en erreur, ou incomplets, comme le CSS ou JavaScript.
Vous pouvez vérifier comment Google voit votre page en utilisant l’outil Inspect URL, disponible depuis janvier 2019 dans la nouvelle Google Search Console :

 

Influencer les moteurs de recherche avec un site adapté aux robots

Si votre site web est facilement crawlable, vous avez gagné la première bataille du SEO. Les sites crawlables peuvent être indexés et les sites indexés peuvent être classés. Et les sites classés ramènent des leads.
Un site crawlable prend en considération la nature des robots et leurs limitations dans son design et son monitoring. Pour cela, vous devez vous intéresser aux questions suivantes :

• Comment les robots passent d’une page à une autre

• Comment les moteurs de recherche programment les crawls
• Comment les robots accèdent au contenu d’une page web
• Comment les sites communiquent avec les robots
• Comment les serveurs fournissent du contenu aux visiteurs robots

Si vous souhaitez attirer des visiteurs, c’est-à-dire gagner des leads grâce au marketing digital ou promouvoir des produits et services en ligne, un site crawlable est une première étape vers le succès.

[Read More ...]

OnCrawl décuple la vitesse de vos crawls

OnCrawl est heureux d’annoncer que la migration progressive de ses utilisateurs vers son tout nouveau crawler a débuté. Notre aspect favori de la nouvelle technologie de crawl OnCrawl ? La vitesse incomparable !

Nous avons aussi profité de cette mise à jour majeure pour inclure une constellation de nouveaux éléments, dont le monitoring en temps-réel des détails de crawl et l’extension des données pour l’analyse des liens et des pages non-indexables.

Nouveau crawler, fonctionnalités de crawl identiques

Cette amélioration majeure du crawler OnCrawl produit des résultats de crawl identiques. Tous les tableaux de bord, fonctionnalités et données disponibles sont complètement pris en charge par notre nouveau crawler.

Ainsi, vous pouvez comparer des crawls réalisés avec l’ancienne version du crawler avec les crawls plus récents sans crainte d’avoir de données faussées et sans devoir procéder à des ajustements.

Il n’y a aucune différence dans les tableaux de bord et graphiques OnCrawl. Leur aspect et les calculs utilisés pour les produire n’ont pas changé. La modification du crawler ne produit pas de chiffres différents dans les graphiques.

Vitesse astronomique : crawl plus rapide

Pour un décollage plus rapide

Vos crawls décollent désormais avec un compte à rebours plus court et une base de lancement plus puissante.

Non seulement la phase d’initialisation du crawl prend beaucoup moins de temps mais vous pouvez aussi utiliser la nouvelle version de la page de monitoring de crawl pour voir ce qu’il se passe pendant cette période, avant que les premières pages soient crawlées.

Sur la page de monitoring de crawl, vous pouvez suivre la progression des différentes tâches de pre-crawl et ensuite analyser des nombres précis, rafraîchir en temps réel, vous permettant de savoir exactement ce que le crawl fait et comment il le fait.

Une vitesse de crawl plus rapide

Vos crawls bénéficient également d’un coup de boost de leur vitesse. Les plus grands sites vont voir une réduction de temps conséquente lors de leur crawl. Même les sites avec moins de 1000 pages pourront voir une vitesse de crawl multipliée par 8.

Nous crawlons non seulement chaque page plus rapidement mais nous avons aussi amélioré la vitesse de crawl globale dans 3 domaines clés :

1. Nous avons parallélisé les tâches de crawl.
   Comme plusieurs tâches peuvent être exécutées en même temps, la vitesse de crawl globale est bien plus rapide.
2. Nous avons retiré les pauses pendant la période de crawl.
   Sans pauses, le crawler est maintenant capable de respecter la vitesse de crawl que vous avez demandé pour un temps de crawl plus court. (Cela signifie que vous pourriez avoir besoin de faire des ajustements si vous vous rendez compte que la vitesse la plus rapide demande trop d’efforts à votre serveur web.)
3. Nous avons ré-écris les algorithmes pour incrémenter la profondeur pendant un crawl.
   Pour les grands sites web, par exemple, les crawls profonds pouvaient prendre plus d’une heure pour progresser d’une profondeur de 10 (ou N) à une profondeur de 11 (ou N+1). Avec le nouveau crawler, les changements de profondeur sont plus fluides, même aux niveaux les plus profonds des sites web gigantesques.

Temps de réaction plus rapides

Le délais nécessaire pour mettre en pause ou arrêter un crawl a été amélioré. À cause du stockage et du traitement des données précédents, mettre en pause un crawl pouvait prendre un moment, même après que vous ayez appuyé sur le bouton. Avec le nouveau crawler, c’est maintenant presque instantané.

Si vous avez besoin de mettre en pause ou d’arrêter un crawl, vous pouvez maintenant le faire en quelques secondes.

Monitoring de crawl amélioré

Le monitoring de crawl de l’interface d’OnCrawl a été repensé avant la sortie du nouveau crawler. Avec le nouveau crawler, cependant, il y a toute une galaxie de différences dans le monitoring de crawl.

L’amélioration inclut :

• Plus d’informations lorsque que les comptes connectés mettent du temps à répondre ou lorsque les informations demandées ne peuvent pas être obtenues. Cela peut arriver, par exemple, lorsque vous n’avez pas assez de quota restant dans votre compte tierce connecté.
• Plus d’informations en temps réel sur les erreurs de crawl d’une page.
• La possibilité de voir la progression d’un crawl pendant la phase d’analyse.

Quelles sont les autres nouveautés ?

Plus d’informations pour plus d’URLs

Le nouveau crawler OnCrawl récupèrent des informations pour toutes les pages en format HTML, peu importe leur indexabilité et leur status code HTTP.

Auparavant, les données des pages n’étaient disponibles que pour les pages avec un status code 200 et pour les pages indexables. Les nouvelles informations sont disponibles dans le Data Explorer et l’outil URL Details, comme elles concernent généralement seulement les pages qui ne sont pas incluses dans les tableaux de bord et graphiques OnCrawl. Cela inclut le nombre de mots, le titre, la méta description, les titres (H1 – HN), les n-grams, l’Open Graph, les Twitter cards et bien plus encore.

Dans l’URL Details, sous “View Source”, l’intégralité du code, dont les headers, sont disponibles pour toutes les pages.

Récupérer des données provenant de pages additionnelles aide aussi OnCrawl à trouver plus de liens et à améliorer la similarité entre notre crawler et le googlebot. Par exemple, OnCrawl ignorait précédemment le contenu des pages avec un status code 3xx, malgré l’évidence que Google puisse suivre des liens de ce type sur ces pages. OnCrawl peut maintenant, comme Google, crawler les liens sur les pages avec un status code autre que 200.

Le fait que des liens additionnels soient trouvés et que des pages additionnelles soient analysées signifie que le total du nombre de pages dans le Data Explorer peut être plus élevé que les nombres que vous trouviez auparavant pour le même site. Par exemple, sur une page redirigée, il est possible que nous découvrons de liens vers des nouvelles pages. Même si ces pages-là se trouvent à ne pas être indexables, elles seront comptées dans le nombre total de pages affiché dans le Data explorer.

Analyse de liens sortants étendue

Nous avons amélioré la capacité de notre crawler à identifier et suivre les liens qui conduisent vers une autre page. Le crawler d’OnCrawl prend maintenant en compte les liens suivants :

Nouveaux champs (et améliorations) dans le Data Explorer

Nous avons ajouté des champs liés au robot d’OnCrawl dans le Data Explorer :

• Sources : comment OnCrawl connait cette page ? Nous vous informons de la manière dont notre robot l’a trouvée, si elle est listée dans votre sitemap, et si les données connectées y font référence.
• Fetch date : la date et l’heure auxquelles notre robot a demandé l’URL.
• Fetch status : le résultat de la tentative de notre robot pour récupérer la page. La valeur ‘success” signifie que le robot d’OnCrawl a reçu une réponse du serveur web : même si la réponse du serveur indiquait une erreur de page ou de serveur, notre robot a réussi à obtenir cette information du serveur.

Nous avons aussi amélioré le rapport de certains champs qui affichaient auparavant des valeurs par défaut. Cela vous donne des informations plus précises pour toutes vos pages. Par exemple, le champ Metarobots dans le Data Explorer indiquait par défaut que les robots étaient autorisés lorsque aucune contre indication n’était présente. Maintenant, le champ Metarobots montre la valeur actuelle de la propriété “meta robots=” pour l’URL. Si la propriété est manquante, le champ est laissé blanc.

Comment obtenir ces nouvelles analyses supersoniques sur votre compte OnCrawl ?

Le nouveau schéma de crawl sera déployé progressivement pour tous nos utilisateurs, qu’ils soient nouveaux ou non, et sans aucune action demandée.

Cependant, si vous utilisez toujours l’ancienne version et que vous souhaitez obtenir dès maintenant la version mise à jour, n’hésitez pas à contacter votre responsable de compte ou à nous contacter directement via le bouton bleu Intercom en bas à droite de l’écran lorsque vous vous identifiez dans l’application.

Vous souhaitez bénéficier d’un crawl plus rapide que l’éclair avec la puissance et la flexibilité d’une plateforme de SEO technique ? Si vous n’êtes pas encore utilisateur OnCrawl, démarrez votre essai dès maintenant.

Démarrez votre essai gratuit

[Read More ...]

La Ville de Québec permet la location Airbnb dans la résidence principale

La Ville de Québec passe de la parole aux actes : à partir du 1er juin, les citoyens pourront louer...
[Read More ...]

Rencontre d’information et d’échanges sur l’aménagement du sentier du parc de la Rivière-Beauport

Québec, le 14 mars 2019 – La Ville de Québec invite la population à participer à la rencontre d’information et d’échanges sur l’aménagement du sentier du parc de la Rivière-Beauport qui se tiendra le jeudi 21 mars prochain, à 19 h, au Centre de loisirs Monseigneur-De Laval, situé au 35, avenue du Couvent.

Ce projet d’aménagement des sentiers pédestres du parc de la Rivière-Beauport vise les secteurs suivants : Broqueville et Seigneuriale et Louis-XIV-Ste-Thérèse et Ste-Thérèse-de l’Alaska.

Dans une ambiance conviviale, des activités participatives permettront aux citoyens d’échanger sur des thèmes qui seront mis en évidence par les participants le soir même. Également, les propriétaires riverains ayant des préoccupations particulières pourront rencontrer les responsables du projet pour aborder des questions plus circonscrites.

L’aménagement de ces secteurs, financé en partie par le gouvernement du Québec, s’inscrit dans la mise en œuvre du Plan directeur du développement et de mise en valeur de la rivière Beauport et dans le Programme de mise en valeur des rivières de la Ville de Québec. Cette rencontre vise à conjuguer les aménagements et les usages afin de permettre une plus grande appropriation des rivières par les citoyens.

Pour plus de détails sur cette rencontre d’information, les citoyens sont invités à consulter le site Internet de la Ville au ville.quebec.qc.ca/consultations.

[Read More ...]

[Tech & Tricks] Analysez votre stratégie de mot-clé pour améliorer le ROI de votre SEO

Quels types de pages se classent sur votre site ? Quels mots-clés correspondent le mieux à votre site ? Est-ce que les pages classées génèrent des leads ? Que vous ayez une stratégie de mot-clé complète ou juste une liste de mots-clés pour lesquels vos pages se classent, les réponses à ces questions peuvent vous aider à trouver des moyens pour améliorer vos positions et obtenir plus de trafic.

Les analyses d’OnCrawl examinent les interactions triangulaires entre la stratégie de mot-clé, le SEO technique on-page et la performance des pages organiques. Nos graphiques révèlent ce que fonctionne et ce qui ne fonctionne pas sur votre site pour optimiser vos efforts.

Cette semaine, nous allons vous montrer comment nos Customer Success Managers utilisent OnCrawl pour répondre aux questions courantes sur la stratégie de mot-clé.

Paramétrer l’analyse de stratégie de mot-clé dans OnCrawl

Nous avons utilisé les données de SEMrush dans l’exemple ci-dessous mais vous pouvez utiliser l’outil de suivi de position et de mot-clé que vous souhaitez. La procédure est la même.

Exportez les données de mot-clé et intégrez-les dans le crawl d’OnCrawl

Exportez les données de mot-clé que vous voulez utiliser. Vous pourriez être intéressé par les types de données suivants :

• URL (requise !)
• Mot-clé
• Position actuelle
• Difficulté du mot-clé
• Concurrence sur le mot-clé
• Volume de recherche mensuel
• PPC estimé
• Tendances de recherche (ce mois-ci)
• …

Sauvegardez ces données en format CSV. La première ligne du fichier CSV doit contenir la colonne Titres, sans espaces ou caractères spéciaux. La colonne URL doit être nommée “url” ou “URL”.

Zippez votre fichier CSV.

Téléchargez votre fichier CSV dans OnCrawl :

1.Depuis la page principale de votre projet, cliquez sur “Add data sources”

2.Passez à l’onglet “Data Ingestion”

3. Glissez et déposez votre fichier CSV zippé dans la zone bleue pointillée pour le télécharger.

Paramétrez et lancez un crawl en utilisant ces données :
1. Depuis la page d’accueil de votre projet, cliquez sur “”+ Set up new crawl” (Ou sur “+ Launch crawl” dans la page source des données.)
2. Descendez jusqu’à la section “Analysis” et cliquez sur l‘option “Data ingestion”.
3. Cochez la case “Enable data ingestion” et choisissez votre fichier CSV dans la liste déroulante.

4.Lancez le crawl

Créez des segmentations dans votre stratégie de mot-clé

Nous avons créé des segmentations pour les métriques de mot-clé suivantes :

• Volume de recherche du mot-clé : utilisez des groupements qui sont utiles pour votre site
• Difficulté du mot-clé (Très faible, faible, intermédiaire, élevé, très élevé)
• Positions (1, 2, 3, 4, 5, 6, 7, 8, 9, >10)
• Intention de recherche (élevée)
• Niveau de concurrence du mot-clé (Très faible, faible, intermédiaire, élevé, très élevé)
• PPC estimé (<1, 1-2, 2-3, >4)

Utiliser OnCrawl pour analyser une stratégie de mot-clé

Quel type de mots-clés génèrent des clics ?

Bien que des volumes de mots-clés importants soient très utiles (approximativement 20 pages comptent pour presque tous les clics de la première colonne), ils sont souvent devancés en volume de visites par des mots-clés avec de faibles volumes de recherche mensuels (pour un volume presque 7 fois plus important sur ce site).

Cela se confirme lorsque nous examinons les sessions organiques vs le nombre de pages connues qui se classent pour une catégorie de mot-clé.

Est-ce utile de viser des mots-clés à forte difficulté ?

Comme souvent entendu en SEO, “ça dépend”. Dans le cas de ce site, investir du temps pour se classer sur des mots-clés très difficiles a payé : les mots-clés à difficulté ont ramené 10 fois plus de visites organiques en nombre de sessions que le reste du site combiné.

Quelles sont les conséquences des pages orphelines sur le classement et la performance de ma page ?

Les pages orphelines qui se classent sont généralement moins crawlées (40 % moins sur ce site) que les pages dans la structure qui se classent pour la même catégorie de mots-clés.

Nous avons constaté que les pages individuelles qui se classent bien pour des mots-clés avec le plus fort nombre d’impressions (à gauche) attirent un nombre significatif de visiteurs organiques. 10 % des pages qui se classent pour des mots-clés avec beaucoup de recherches mensuelles sont cependant orphelines.

Vous pouvez également voir qu’aucune des pages orphelines qui visent ces mots-clés ne reçoivent de visites organiques. Réintégrer ces pages pour améliorer leur popularité interne peut aider à améliorer leur position dans les résultats de recherche et à apporter des visites.

De même, près d’un quart de toutes les pages qui ciblent des mots-clés à faible volume (qui rapportent le plus de clics sur ce site) sont des orphelines qui ne reçoivent pas de visites organiques. Augmenter le nombre de pages dans l’architecture de votre site par 25 % pour cette catégorie peut apporter un boost significatif de votre trafic.

Est-ce que bien se positionner est suffisant pour générer des visites organiques ?

Une autre manière de poser cette question est “Est-ce que je suis classé pour les bons mots-clés ?” ou “Est-ce que les internautes cliquent sur mes URLs ?”

Les pages actives ou les pages qui génèrent des visites organiques sont une manière de mesurer l’efficacité d’une stratégie de mot-clé. Pour ce site, par exemple, près de 90 % des pages en 1ère position reçoivent des visites organiques.
Comment prévu, ce nombre diminue après la première page des SERPs et chute de plus en plus brusquement. Seulement 2 % des pages qui ne se classent pas sont actives.

Les visites SEO ou organiques sont aussi un indicateur de l’efficacité d’un mot-clé. Voici un autre site qui gagne relativement peu de visites provenant des meilleurs mots-clés. Une proportion significative de ses visites organiques proviennent des pages qui n’apparaissent même pas dans la première page des SERPs.

Est-ce que les pages qui sont classées sont suffisamment crawlées ?

Vous devriez vous intéresser aux fréquences de crawl lorsqu’il y a une corrélation entre le crawl et les visites sur votre site. Par exemple, sur ce site, lorsque des mots-clés difficiles sont crawlés plus souvent, ils attirent davantage de visiteurs organiques.

Mais toutes les pages qui se classent pour des mots-clés difficiles n’ont pas forcément été crawlées récemment. Cela peut valoir le coup de vérifier que ces pages sont crawlables et que votre budget de crawl est correctement distribué car vous savez maintenant que les visites et les crawls sont corrélés.

Vous devriez également vous intéresser à la fréquence de crawl si vous testez des optimisations SEO sur des pages spécifiques. Cela vous permettra de voir comment ces optimisations peuvent influencer vos classements par rapport à vos concurrents. Est-ce qu’une page tous les 10 jours est suffisamment fréquent pour implémenter vos optimisations sur tout le site ?

Est-ce que les tendances de recherche ont une influence sur mon site ?

Les tendances de recherche actuelles ont souvent un impact sur le crawl, aussi bien sur le nombre de pages crawlées que la fréquence de crawl.

Souvent, cela va influencer vos positions. Dans le cas de ce site, les pages affectées par les courbes d’intentions de recherche sont plus susceptibles de se classer pour n’importe quelle position sur les deux premières pages des résultats de recherche. (Cependant, cela n’affecte qu’un pourcentage relativement faible des pages classées du site.)

Mes pages sont bien classées : pourquoi elles ne génèrent pas de clics ou de conversions ?

S’intéresser aux problèmes classiques de SEO on-page et technique pour les pages classées peut expliquer le comportement de l’utilisateur et révéler des opportunités d’amélioration :

Ici, par exemple, le pourcentage de temps de chargement lents suit presque le même schéma que les taux de rebond selon les meilleurs mots-clés par page.

Le maillage interne et la profondeur de page peut améliorer la popularité des pages qui se classent mais pas encore suffisamment haut, comme les pages en positions 2-5 avec un faible Inrank (2-3).

Régler les problèmes de contenu dupliqué peut aussi vous aider à pousser les pages qui se classent en seconde et troisième positions.

À vous de tester votre stratégie de mot-clé avec OnCrawl !

Utiliser votre données issues d’une analyse de mots clés afin de visualiser les métriques on-page, de positionnement et de comportement utilisateurs sur votre site : cela vous fournit les clés pour dévoiler les points forts et faibles de votre stratégie de mots clés. Les graphiques d’OnCrawl offrent une interprétation visuelle des réponses aux questions les plus (ou moins) communes pour expliquer les performances de vos mots clés.

Tester votre propre stratégie de mots clés pour découvrir comment obtenir plus de visites SEO. L’analyse croisée avec vos données de mots clés vous aidera à améliorer votre visibilité en choisissant la bonne approche : cibler des groupes de mots clés différents ou bien se concentrer sur l’optimisation du référencement pour certains groupes de pages. Dans tous les cas, les réponses sont dans les données.

Vous n’êtes pas encore utilisateur OnCrawl ? C’est le moment idéal pour commencer votre essai gratuit, acquérir de nouvelles perspectives grâce aux vraies données de votre site web et profiter de l’expertise de nos Customer Success Managers chez OnCrawl.

Start your free trial

[Read More ...]

Quelles sont les limitations d’un crawl et comment les surmonter ?

Le crawl fait partie des outils essentiels dans la boîte à outils SEO. La plupart des sites ont besoin d’être crawlés (par Google) pour être indexés, classés et cliqués. Il est donc indispensable de crawler votre site (avec un crawler SEO) et de s’assurer que les résultats sont corrects pour construire une stratégie SEO. C’est aussi la meilleure manière d’assurer le monitoring de votre site, suivre l’activité, analyser son état actuel ou pour mesurer les améliorations.

Qu’est-ce qu’un crawl (et comment il fonctionne) ?

Un crawl consiste en l’analyse d’un groupe de pages par un robot. Il peut s’agir d’une liste limitée de pages mais généralement, un crawl débute sur une page ou des pages spécifiques et utilise le robot pour lire la page et découvrir tous les liens sur ces pages. Le robot visite ensuite toutes les pages liées qui n’ont pas été déjà visitées et découvrent à nouveau des liens sur ces pages. Cette procédure se répète encore et encore jusqu’à ce que le robot ne trouve plus de liens qu’il ne connaît pas déjà.

Pendant ce voyage, le robot enregistre et rapporte les informations qu’il trouve comme le statut de la page rapporté par le serveur lorsqu’il demande une page spécifique, le temps nécessaire pour que le robot récupère toutes les informations d’une page…

Les robots peuvent aussi tirer des informations provenant des pages elles-mêmes : titres de page, méta informations, nombre de mots, données structurées…

Cela signifie que les robots ont besoin d’être capable d’accéder à une page et de la lire pour identifier les liens. La plupart des limitations de crawls proviennent d’éléments ou de conditions qui empêchent l’une de ces étapes de se produire.

Quelles sont les limitations d’un crawl ?

Les règles que vous programmez pour les crawlers SEO

À l’inverse du googlebot, vous pouvez paramétrer beaucoup des paramètres du comportement d’un robot SEO. Cela va déterminer la manière dont le crawl se déroule et quelles pages le robot peut découvrir.

Un exemple très évident est la limite de crawl via un nombre maximum d’URLs. Si ce paramètre est configuré et que le nombre est trop faible pour votre site, le robot ne pourra pas crawler toutes vos pages, mais pas pour une raison technique !

Comment réparer cette erreur : modifiez vos paramètres de crawl !

Préjudice anti-robot

Les sites qui ne jouent pas le jeu avec les robots ont souvent des problèmes avec les crawls.

Cela inclut les sites qui refusent l’accès aux robots. Ces sites peuvent avoir des raisons légitimes pour exclure les robots :

• Le propriétaire du site ne veut pas que le site soit indexé.
• Le site requiert un login, un cookie ou une autre méthode de vérification que les robots standards ne peuvent pas fournir.
• Le site a mis en place des autorisations restrictives suite à une mauvaise expérience avec un robot, comme le scraping, le monitoring par des concurrents ou une attaque qui visait à faire tomber le serveur.
• Le site utilise un service de protection tierce qui bloque tous les robots inconnus ou enregistre les robots blacklistés, que le site ait eu ou non une mauvaise expérience.

Mais le problème avec les exclusions générales de robots c’est que vous ne pouvez pas crawler votre site à la main. La nature des audits requiert que le site soit accessible par les robots.

Même si un site n’a pas décidé que tous les robots sont des mauvais robots, il peut toujours leur mettre des bâtons dans les roues. Il peut par exemple traiter certains robots différemment par rapport à d’autres ou aux visiteurs humains. Cela peut inclure les comportements suivants :

• Cacher du contenu aux robots ou utilisateurs (cloaking)
• Fournir différentes restrictions à certains robots en utilisant les fichiers htaccess, robots.txt ou les instructions meta robots.

Lorsque le robot de crawl est traité différemment que le googlebot, les résultats de crawl montrent l’analyse d’un site qui n’est pas celui que Google voit. Ainsi, les réels problèmes rencontrés par les googlebots peuvent restés non détectés.
De même, lorsque les robots ne sont pas traités comme les utilisateurs, le site qui est analysé n’est pas le même que celui que les utilisateurs voient. Il ne peut donc pas être utilisé pour révéler des problèmes d’expérience utilisateur.

Comment réparer cette erreur : assurez-vous que vous comprenez pourquoi vous crawlez votre site. Est-ce que vous voulez comprendre comment les utilisateurs perçoivent le site ? Comment Google le voit ? Obtenir une liste de pages et leurs caractéristiques, indépendamment des visiteurs ? Cela va déterminer le type d’autorisations dont le robot de crawl aura besoin.

Puis, échangez avec l’équipe de développement web ou avec votre fournisseur de service web pour établir le bon compromis entre les paramètres de robot disponibles dans votre crawler et les autorisations possibles sur votre site et ses pages.

Lorsque vous utilisez OnCrawl pour crawler votre site, vous pouvez prendre des mesures parmi les suivantes :

• Demandez les adresses IP statiques du robot OnCrawl et mettez-les sur liste blanche.
• Utilisez un fichier robots.txt virtuel pour outrepasser les instructions du site web concernant les robots (… mais seulement pour le robot OnCrawl).
• Modifiez le nom du robot pour que le robot OnCrawl suive les instructions dédiées à d’autres robots.
• Fournissez les informations de login, cookie ou header HTTP pour rendre correctement le site.

Relations robots / JavaScript

L’historique des relations entre robots et JavaScript est pour le moins tendu, à cause des problèmes liés au fait de produire du contenu sur une page pour le visiteur qui le demande, ou en d’autres termes rendre une page. Jusqu’à présent, seulement quelques robots étaient capables de rendre les pages qui utilisaient le JavaScript. Bien que ce ne soit plus le cas, tous les crawlers ne peuvent pas rendre tous les types de JavaScript, et les crawls JavaScript sont toujours plus “chers” (comprenez : ils requièrent des technologies plus complexes et sont plus lents) que les crawls standards.

Comme le JavaScript est utilisé pour insérer et étendre toutes sortes de contenu, dont les informations du header (comme les canoniques et hreflang), les liens et contenus textuels, les robots doivent avoir accès aux versions finales des pages. Lorsque ce n’est pas le cas, les informations de chaque page ou de l’intégralité du site web dans un crawl seront incomplètes si JavaScript a été utilisé pour insérer des liens.

Comment réparer cette erreur : comprenez comment le JavaScript est utilisé sur votre site web et déterminez si les robots ont besoin ou non de comprendre le site. Si avez besoin de crawler en JavaScript, déterminez si votre site peut être pré-rendu ou si le crawler doit faire tout le rendu lui-même. (Le robot OnCrawl en est capable ! N’oubliez pas d’autoriser cette option dans les paramètres de crawl). Si vous êtes à la recherche d’un bon crawler, assurez-vous d’en choisir un avec un robot qui supporte les crawls de sites avec des specs techniques comme les vôtres.

Le grand inconnu derrière vos délimitations de crawl

Un crawl fournit simplement des informations à propos des pages qu’il crawle. Il n’a aucune connaissance des pages en dehors du champ du crawl. Cela peut paraître évident mais engendre également des conséquences qu’il est facile d’oublier :

• Un crawl n’a aucune connaissance des pages en dehors de ses limites si vous avez restreint le nombre de pages, la profondeur d’exploration, les sous-domaines à crawler…
• Un crawl n’a aucune idée de ce qui pourrait ou ne pourrait pas exister au-delà des frontières de votre site. Cela inclut les standards du secteur, les sites concurrents, d’autres sites classés, des traductions de votre site sur différents ccTLDs, l’influence des réseau de blogs privé, etc…
• Un crawl ne voit pas les backlinks : il ne peut pas prendre en compte l’influence des backlinks car il ne voit pas les pages qui renvoient vers votre site.
• Un crawl ne peut pas voir les pages qui ne sont pas liées dans la structure de votre site (pages orphelines).
• Un crawl ne rapporte que les mesures internes du site, sans prendre en compte les facteurs off-site, comme le linking, le paid search, la promotion sur les réseaux sociaux…

Lorsque les éléments clés de votre analyse ou de votre stratégie SEO tombent en dehors des frontières du crawl, cela peut fausser les résultats. Par exemple des pages orphelines très performantes, des backlinks, hreflang ou canoniques pointant vers d’autres (sous) domaines, des campagnes off-site ou payantes, ou la qualité relative de votre site par rapport à d’autres sites similaires peuvent être oubliés.

Étendre les frontières de crawl pour inclure un sous-domaine.

Comment réparer cette erreur : beaucoup des problèmes liés à la part d’inconnu au-delà de vos frontières de crawl peuvent être résolus. Rappelez-vous qu’un élément qui n’est pas présent dans vos résultats de crawl peut tout de même exister. Cela signifierait juste qu’il n’a pas été crawlé. Lorsque vous êtes conscients du type de pages que vous pourriez avoir exclu de votre crawl, vous pourrez mieux juger si cela avait ou non de l’influence sur vos résultats.

Plus concrètement, OnCrawl fournit des options pour vous aider à étendre les frontières de votre crawl. Par exemple, vous pouvez crawler les sous-domaines ou utiliser différentes start URLs sur différents domaines. Vous pouvez aussi utiliser des données tierces pour inclure des informations à propos des pages au-delà du périmètre de crawl. Pour en citer quelques-uns :

• Vous pouvez inclure les données de Majestic pour analyser vos backlinks et leur influence sur les pages de votre site.
• Vous pouvez utiliser les données de différentes sources (Google Analytics et des outils analytics similaires, la Google Search Console, les données de serveur de logs…) pour trouver des pages orphelines.
• Le crawl et les analyses ultérieures sont construits pour des sites de n’importe quelle taille, donc vous pouvez configurer des limites de crawl selon la profondeur et le nombre de pages sur votre site, au lieu des maximums arbitraires.

Pages orphelines découvertes en utilisant différentes sources

Attentes du crawl vs. réalité

Un crawl décrit votre site et comment un robot ou un utilisateur vont voir ses pages, en commençant par le point d’entrée que vous avez défini comme votre start URL. Cependant, un crawler SEO ne dispose pas de l’intention de recherche, des résultats de recherche ou des structures de prise de décision dont le visiteur humain dispose. À l’inverse, l’utilisateur n’a pas pleine conscience de la planification de crawl, des facteurs de classement, du machine learning et des connaissances sur le fonctionnement d’internet, que les moteurs de recherche ont.

Un crawl ne peut pas fournir des informations sur comment et quand les robots des moteurs de recherche ou utilisateurs consomment votre site. Ce type d’informations, qui sont indispensables pour comprendre comment un site performe, prennent en compte :

• Comment les éléments mesurés affectent ou sont affectés par le comportement des utilisateurs ou des robots Quand, comment et dans quel ordre vos pages seront crawlées par Google
• Quelles pages obtiennent le plus de visites
• Comment les pages se classent
• Où concentrer vos efforts SEO pour le meilleur ROI

Le résultat mène souvent à une analyse inutile. Un crawl fournit des informations complètes sur votre site, mais aucun moyen de lier cette information à comment votre site vit et respire selon vos clients, les SERPs et le reste d’internet.

Comment réparer cette erreur : utilisez plus de données !

Les données basiques du crawl pour chaque URL connue d’un site web peuvent être associées avec n’importe quel type de données ou l’ensemble de ces données pour faire du crawl un outil extrêmement puissant pour comprendre et gérer la performance web :

• Les données analytics pour le comportement utilisateur
• Les données de classement tirées de la Google Search Console
• Le nombre et la fréquence des robots et utilisateurs inscrits dans les serveurs de logs
• Les indicateurs business du CRM
• Des jeux de données personnalisés provenant d’autres sources

Effet de la profondeur (distance depuis la page d’accueil en nombre de clics) sur les classements : plus une page est proche de la page d’accueil, plus elle a de chances de se classer.

Pour résumer : comment surmonter les problèmes liés au crawl ?

Le crawl est un outil essentiel dans la boîte à outils SEO mais lorsqu’il est pris tout seul, ce n’est pas non plus la panacée SEO ! Comme vu précédemment, beaucoup des lacunes d’un crawl peuvent être éliminées ou nuancées grâce à deux stratégies majeures :

1. Évaluer les limitations du robot. Les limitations imposées aux robots peuvent être liées à la technologie derrière le crawler, aux règles configurées par le site web ou aux options choisies par la personne qui a configuré le crawl. En travaillant avec l’équipe de développement du site web et en utilisant le bon crawler avec des paramètres de crawl appropriés, vous pourrez vous débarrassez de nombreux obstacles qui bloquent le crawl de vos pages et obtenir des analyses utiles.
2. Fournir un accès aux données additionnelles. Par nature, la vue de votre site depuis un crawl ne peut pas inclure de données de performance ou business, des indicateurs clés pour les prises de décision marketing. Ces données ne sont pas rapportées car elles ne sont pas présentes sur la page web en elle-même. L’analyse croisée entre les données de crawl et comportementales, les classements ou même les données business peuvent faire d’une analyse de crawl un outil précis de prise de décision.

Une fois que vous aurez surpassé les limitations qui empêchent vos résultats de crawl d’être complètement fiables, vous trouverez de nombreuses informations pour conduire votre stratégie SEO.

[Read More ...]