Google : Comment l’entreprise gère-t-elle les incidents de crawling et d’indexation ?

Eh oui, même Google n’est pas à l’abri des incidents techniques. Que ce soit du côté du crawling ou de l’indexation, le moteur de recherche doit composer avec des problèmes qui peuvent affecter l’expérience utilisateur. Mais comment l’entreprise gère-t-elle ces situations ? C’est ce que nous allons découvrir dans cet article, en nous penchant sur les dernières révélations du podcast « Search Off The Record ».

Google Search : une uptime exceptionnelle

Commençons par une bonne nouvelle : la page d’accueil de Google Search (vous savez, celle avec la fameuse barre de recherche) affiche un uptime extrêmement élevé. Les cas où elle devient totalement inaccessible sont rares, et la plupart des problèmes rencontrés sont liés à des soucis d’acheminement sur Internet plutôt qu’à une défaillance interne de l’infrastructure de Google. Comme le souligne Gary Illyes, l’un des intervenants du podcast :

Le service qui héberge la page d’accueil est le même que celui qui héberge le tableau de bord d’état de Google Search, et il affiche un taux de disponibilité absolument dingue, aux alentours de 99,999 %.

Son collègue John Mueller renchérit avec un « Nein » taquin (qui signifie « non » en allemand), comme pour dire que cette page n’est jamais réellement indisponible. Mais derrière cette façade d’une disponibilité quasi parfaite se cachent des rouages complexes qui, eux, connaissent parfois quelques ratés.

L’équipe Site Reliability Engineering (SRE) de Google

Voilà où intervient l’équipe Site Reliability Engineering (SRE) de Google. Ces experts ont pour mission de veiller au bon fonctionnement des systèmes publics de l’entreprise, comme Google Search, Ads, Gmail ou YouTube. Leur rôle est crucial, car une défaillance dans le crawling ou l’indexation peut avoir des conséquences catastrophiques, notamment pour les contenus sensibles à l’actualité (annonces, nouvelles, événements commerciaux, etc.).

Comme l’explique Gary Illyes, l’équipe SRE surveille en permanence les indicateurs clés et dispose d’un véritable « manuel des incidents » pour y faire face. Grâce à des processus automatisés et des règles de surveillance, les problèmes sont détectés rapidement et déclenchent des alertes gérées par un logiciel de gestion des incidents. C’est ce qui s’est produit le 1er février 2024, lorsqu’un indicateur s’est envolé, déclenchant une alerte de niveau mineur, puis moyennement prioritaire après analyse.

Un exemple concret : le problème d’indexation de février 2024

Revenons sur cet incident de février 2024 évoqué par Gary Illyes. Lorsqu’un indicateur se met à dérailler, l’équipe SRE doit d’abord déterminer s’il s’agit d’un vrai problème ou d’un faux positif. Dans ce cas précis, ils ont jugé que la situation méritait une investigation approfondie et ont alors monté le niveau de priorité de l’incident.

« Une fois que l’incident atteint un certain niveau de priorité, il atterrit dans nos boîtes mail », explique Gary Illyes. C’est à ce moment-là que les équipes en charge des relations avec les utilisateurs (Search Relations) sont alertées et peuvent préparer une éventuelle communication.

Priorisation des incidents : quand Google communique-t-il sur les problèmes ?

Mais attention, Google ne communique pas sur tous les petits incidents qui surviennent. Comme le souligne Gary Illyes, la plupart du temps, ces problèmes passent inaperçus pour les utilisateurs finaux. Le critère principal pour décider de communiquer ou non est donc l’impact réel sur l’expérience utilisateur.

Si un incident affecte les utilisateurs, cela signifie presque automatiquement que son niveau de priorité doit être rehaussé.

Cependant, même lorsque les utilisateurs sont impactés, Google doit encore évaluer la gravité de la dégradation de l’expérience avant de décider de communiquer publiquement. Gary Illyes évoque ainsi un cas récent où certaines images ne s’affichaient plus dans les résultats de recherche. Bien que gênant, ce problème ne rendait pas le service complètement inutilisable, et les internautes pouvaient encore trouver les informations qu’ils cherchaient (même si c’était un peu comme « revenir en 1990 ou en 2008 », plaisante-t-il).

Un cas d’école : les images qui disparaissent

Dans cette situation, Google a choisi de ne pas communiquer officiellement, jugeant que l’impact sur l’expérience utilisateur restait acceptable. Une décision qui peut surprendre, surtout pour les éditeurs de sites web qui comptent sur l’affichage des images pour attirer les clics. Mais selon Gary Illyes, l’équipe Search Relations se concentre avant tout sur les relations avec les utilisateurs finaux plutôt qu’avec les propriétaires de sites.

« Du point de vue de la recherche, il s’agit de Search Relations, pas de Site Owners Relations », précise-t-il. Une déclaration qui peut sembler contradictoire avec la description officielle de l’équipe Search Relations, censée aider « les propriétaires de sites à réussir dans Google Search ». Un petit malentendu sémantique, peut-être ?

Les relations entre Google et les éditeurs de sites web

Quoi qu’il en soit, cette réflexion soulève une question intéressante : quelle place occupe réellement la communauté des éditeurs de sites web dans les décisions de Google ? Certes, l’entreprise veille avant tout à offrir la meilleure expérience possible à ses utilisateurs finaux. Mais les créateurs de contenus font aussi partie intégrante de cet écosystème, et leur succès conditionne en partie la qualité des résultats de recherche.

D’ailleurs, John Mueller et Lizzi Sassman, deux autres intervenants du podcast, semblent particulièrement attentifs à l’engagement avec cette communauté. Un signe que, même si les priorités peuvent parfois diverger, Google accorde une importance non négligeable aux retours et aux préoccupations des éditeurs.

Une transparence mesurée de la part de Google

Au final, Google semble adopter une approche nuancée dans la gestion et la communication autour des incidents liés au crawling et à l’indexation. L’entreprise dispose d’un processus bien rodé pour détecter, prioriser et traiter ces problèmes, avec une attention particulière portée à l’impact sur l’expérience utilisateur.

Si un incident est jugé mineur ou n’affectant pas de manière significative la qualité des résultats, Google préfère rester discret et se concentrer sur la résolution interne. En revanche, lorsque les utilisateurs subissent une dégradation notable du service, l’entreprise n’hésite pas à communiquer de manière transparente pour rassurer sa communauté.

Eh voilà, vous êtes désormais incollables sur la gestion des incidents chez Google !

Que vous soyez un simple curieux du monde des moteurs de recherche ou un professionnel du SEO, comprendre ces coulisses vous permettra d’avoir un regard plus éclairé sur les aléas techniques qui jalonnent l’expérience de recherche en ligne. Et qui sait, peut-être que la prochaine fois qu’une image manquera à l’appel dans les résultats, vous saurez à qui la faute ! 🕵️