Comment se faire référencer sur Google ?

Si Google n’indexe pas votre site Web, vous êtes pratiquement invisible. Vous ne vous présenterez à aucune requête de recherche et vous n’obtiendrez aucun trafic organique. Rien. Non. Zéro.

Étant donné que vous êtes ici, je suppose que ce n’est pas nouveau pour vous. Alors passons directement aux affaires.

Cet article vous apprend à résoudre l’un de ces trois problèmes :

L’ensemble de votre site Web n’est pas indexé.
Certaines de vos pages sont indexées, mais d’autres ne le sont pas.
Vos pages Web nouvellement publiées ne sont pas indexées assez rapidement.

Qu’est-ce que l’exploration et l’indexation ?

Contenus afficher

Google découvre de nouvelles pages Web en explorant le Web, puis ajoute ces pages à son index . Pour ce faire, ils utilisent une araignée Web appelée Googlebot .

Confus? Définissons quelques termes clés.

Crawling : Processus consistant à suivre des hyperliens sur le Web pour découvrir de nouveaux contenus.
Indexation : Le processus de stockage de chaque page Web dans une vaste base de données.
Araignée Web : un logiciel conçu pour effectuer le processus d’ exploration à grande échelle.
Googlebot : l’ araignée Web de Google .

Voici une vidéo de Google qui explique le processus plus en détail :

Lorsque vous recherchez quelque chose sur Google, vous demandez à Google de renvoyer toutes les pages pertinentes de son index. Parce qu’il y a souvent des millions de pages qui correspondent à la facture, l’algorithme de classement de Google fait de son mieux pour trier les pages afin que vous voyiez en premier les résultats les meilleurs et les plus pertinents.

Le point critique que je fais ici est que l’indexation et le classement sont deux choses différentes .

L’indexation se présente pour la course; le classement est gagnant.

Vous ne pouvez pas gagner sans vous présenter à la course en premier lieu.

Comment vérifier si vous êtes indexé dans Google

Allez sur Google, puis recherchezsite:yourwebsite.com

Ce nombre indique approximativement le nombre de vos pages indexées par Google.

Si vous souhaitez vérifier l’état de l’index d’une URL spécifique, utilisez le même site:yourwebsite.com/web-page-slug opérateur .

Aucun résultat n’apparaîtra si la page n’est pas indexée.

Maintenant, il convient de noter que si vous êtes un utilisateur de Google Search Console, vous pouvez utiliser le rapport de couverture pour obtenir un aperçu plus précis de l’état de l’index de votre site Web. Allez simplement à :

Console de recherche Google > Index > Couverture

Regardez le nombre de pages valides (avec et sans avertissements).

Si ces deux nombres totalisent autre chose que zéro, alors Google a au moins certaines des pages de votre site Web indexées. Si ce n’est pas le cas, vous avez un grave problème car aucune de vos pages Web n’est indexée.

NOTE.

Vous n’êtes pas un utilisateur de la console de recherche Google ? S’inscrire. C’est gratuit. Toute personne qui gère un site Web et se soucie d’obtenir du trafic de Google devrait utiliser Google Search Console. C’est si important.

Vous pouvez également utiliser la Search Console pour vérifier si une page spécifique est indexée. Pour ce faire, collez l’URL dans l’outil d’inspection d’URL .

Si cette page est indexée, elle indiquera “L’URL est sur Google”.

Si la page n’est pas indexée, vous verrez les mots “L’URL n’est pas sur Google”.

Comment se faire indexer par Google

Vous avez constaté que votre site Web ou votre page Web n’est pas indexé dans Google ? Essaye ça:

Accédez à la console de recherche Google
Accédez à l’outil d’inspection d’URL
Collez l’URL que vous souhaitez que Google indexe dans la barre de recherche.
Attendez que Google vérifie l’URL
Cliquez sur le bouton “Demander l’indexation”

Ce processus est une bonne pratique lorsque vous publiez un nouvel article ou une nouvelle page. Vous dites effectivement à Google que vous avez ajouté quelque chose de nouveau à votre site et qu’il devrait y jeter un coup d’œil.

Cependant, il est peu probable que la demande d’indexation résolve les problèmes sous-jacents empêchant Google d’indexer les anciennes pages. Si tel est le cas, suivez la liste de contrôle ci-dessous pour diagnostiquer et résoudre le problème.

1) Supprimez les blocs d’exploration dans votre fichier robots.txt

Google n’indexe-t-il pas l’intégralité de votre site Web ? Cela peut être dû à un blocage d’exploration dans un fichier appelé fichier robots.txt .

Pour vérifier ce problème, accédez à votredomaine.com/robots.txt .

Recherchez l’un de ces deux extraits de code :

`1`	`User-agent: Googlebot`

`2`	`Disallow: /`

`1`	`User-agent: *`

`2`	`Disallow: /`

Ces deux éléments indiquent à Googlebot qu’ils ne sont pas autorisés à explorer les pages de votre site. Pour résoudre le problème, supprimez-les. C’est aussi simple que ça.

A LIRE Comment définissez-vous le SEO et quel est son objectif ?

Un bloc d’exploration dans robots.txt pourrait également être le coupable si Google n’indexe pas une seule page Web. Pour vérifier si c’est le cas, collez l’URL dans l’outil d’inspection d’URL de Google Search Console. Cliquez sur le bloc Couverture pour révéler plus de détails, puis recherchez le “Exploration autorisée ? Non : bloqué par l’erreur robots.txt”.

Cela indique que la page est bloquée dans robots.txt.

Si tel est le cas, revérifiez votre fichier robots.txt pour toute règle de “désactivation” relative à la page ou à la sous-section associée.

Retirer si nécessaire.

2) Supprimer les balises noindex voyous

Google n’indexera pas les pages si vous leur dites de ne pas le faire. Ceci est utile pour garder certaines pages Web privées. Il y a deux façons de le faire :

Méthode 1 : balise méta

Les pages contenant l’une de ces balises Meta dans leur <head>section ne seront pas indexées par Google :

`1`	`<meta name=“robots” content=“noindex”>`

`1`	`<meta name=“googlebot” content=“noindex”>`

Il s’agit d’une balise meta robots, et elle indique aux moteurs de recherche s’ils peuvent ou non indexer la page.

NOTE.

La partie clé est la valeur “noindex”. Si vous voyez cela, la page est définie sur noindex.

Pour trouver toutes les pages avec une balise meta noindex sur votre site, lancez une analyse avec Ahrefs’ Site Audit . Accédez au rapport d’indexabilité. Recherchez les avertissements “Pas d’index de page”.

Cliquez pour voir toutes les pages concernées. Supprimez la balise meta noindex de toutes les pages auxquelles elle n’appartient pas.

Méthode 2 : X-Robots-Tag

Les crawlers respectent également l’en-tête de réponse HTTP X-Robots-Tag. Vous pouvez implémenter cela en utilisant un langage de script côté serveur comme PHP, ou dans votre fichier .htaccess, ou en modifiant la configuration de votre serveur.

L’outil d’inspection d’URL de la Search Console vous indique si Google est empêché d’explorer une page à cause de cet en-tête. Entrez simplement votre URL, puis recherchez le message “Indexation autorisée ? Non : ‘noindex’ détecté dans l’en-tête http ‘X-Robots-Tag’ »

Si vous souhaitez vérifier ce problème sur votre site, exécutez une analyse dans l’outil d’audit de site d’Ahrefs , puis utilisez le filtre “Informations sur les robots dans l’en-tête HTTP” dans l’explorateur de pages :

Dites à votre développeur d’empêcher les pages que vous souhaitez indexer de renvoyer cet en-tête.

3) Inclure la page dans votre sitemap

Un sitemap indique à Google quelles pages de votre site sont importantes et lesquelles ne le sont pas. Cela peut également donner des indications sur la fréquence à laquelle ils doivent être réexplorés.

Google devrait être en mesure de trouver des pages sur votre site Web, qu’elles figurent ou non dans votre sitemap, mais il est toujours recommandé de les inclure. Après tout, cela ne sert à rien de compliquer la vie de Google.

Pour vérifier si une page figure dans votre sitemap, utilisez l’outil d’inspection d’URL dans la Search Console. Si vous voyez l’erreur “L’URL n’est pas sur Google” et “Sitemap : N/A”, cela signifie qu’elle ne figure pas dans votre sitemap ou qu’elle n’est pas indexée.

Vous n’utilisez pas la Search Console ? Dirigez-vous vers l’URL de votre plan de site (généralement, votredomaine.com/sitemap.xml ) et recherchez la page.

Ou, si vous souhaitez trouver toutes les pages explorables et indexables qui ne figurent pas dans votre sitemap, exécutez une analyse dans Ahrefs’ Site Audit . Accédez à Page Explorer et appliquez ces filtres :

Ces pages devraient être dans votre sitemap, alors ajoutez-les. Une fois cela fait, faites savoir à Google que vous avez mis à jour votre sitemap en envoyant un ping à cette URL :

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Remplacez cette dernière partie par l’URL de votre sitemap. Vous devriez alors voir quelque chose comme ceci :

Cela devrait accélérer l’indexation de la page par Google.

4) Supprimer les balises canoniques escrocs

Une balise canonique indique à Google quelle est la version préférée d’une page. Cela ressemble à ceci :

<link rel="canonical” href="/page.html/">

La plupart des pages n’ont pas de balise canonique, ou ce qu’on appelle une balise canonique auto-référençante. Cela indique à Google que la page elle-même est la version préférée et probablement la seule. En d’autres termes, vous voulez que cette page soit indexée.

Mais si votre page contient une balise canonique non autorisée, il se peut qu’elle indique à Google une version préférée de cette page qui n’existe pas. Dans ce cas, votre page ne sera pas indexée.

Pour rechercher un canonique, utilisez l’outil d’inspection d’URL de Google. Vous verrez un avertissement “Page alternative avec balise canonique” si la balise canonique pointe vers une autre page.

Si cela ne devrait pas être là et que vous souhaitez indexer la page, supprimez la balise canonique.

IMPORTANT

Les balises canoniques ne sont pas toujours mauvaises. La plupart des pages avec ces balises les auront pour une raison. Si vous voyez que votre page a un ensemble canonique, vérifiez la page canonique. S’il s’agit bien de la version préférée de la page et qu’il n’est pas nécessaire d’indexer également la page en question, la balise canonique doit rester.

Si vous souhaitez trouver un moyen rapide de trouver des balises canoniques malveillantes sur l’ensemble de votre site, lancez une analyse dans l’outil d’audit de site d’Ahrefs. Accédez à l’explorateur de pages. Utilisez ces paramètres :

Cela recherche les pages de votre sitemap avec des balises canoniques non auto-référencées. Étant donné que vous souhaitez presque certainement indexer les pages de votre sitemap, vous devez rechercher plus avant si ce filtre renvoie des résultats.

A LIRE Comment choisir des mots clés pour le référencement ?

Il est fort probable que ces pages aient un canonique voyou ou ne devraient pas figurer dans votre sitemap en premier lieu.

5) Vérifiez que la page n’est pas orpheline

Les pages orphelines sont celles sans liens internes pointant vers elles.

Étant donné que Google découvre de nouveaux contenus en explorant le Web, ils ne peuvent pas découvrir de pages orphelines via ce processus. Les visiteurs du site Web ne pourront pas non plus les trouver.

Pour vérifier les pages orphelines, parcourez votre site avec l’audit de site d’Ahrefs . Ensuite, vérifiez le rapport Liens pour les erreurs « Page orpheline (n’a pas de liens internes entrants) » :

Cela montre toutes les pages qui sont à la fois indexables et présentes dans votre sitemap, mais qui n’ont pas de liens internes pointant vers elles.

IMPORTANT

Ce processus ne fonctionne que lorsque deux choses sont vraies :

Toutes les pages que vous souhaitez indexer sont dans vos sitemaps
Vous avez coché la case pour utiliser les pages de vos plans de site comme points de départ de l’exploration lors de la configuration du projet dans l’audit de site d’Ahrefs.

Vous n’êtes pas sûr que toutes les pages que vous souhaitez indexer figurent dans votre plan de site ? Essaye ça:

Télécharger une liste complète des pages de votre site (via votre CMS)
Explorer votre site Web (à l’aide d’un outil comme l’audit de site d’Ahrefs)
Croiser les deux listes d’URL

Toutes les URL non trouvées lors de l’exploration sont des pages orphelines.

Vous pouvez corriger les pages orphelines de deux manières :

Si la page n’est pas importante, supprimez-la et retirez-la de votre sitemap.
Si la page est importante , intégrez-la dans la structure de liens internes de votre site Web.

6) Corrigez les liens internes nofollow

Les liens Nofollow sont des liens avec une balise rel=”nofollow”. Ils empêchent le transfert du PageRank vers l’URL de destination. Google n’explore pas non plus les liens nofollow.

Voici ce que dit Google à ce sujet :

Essentiellement, l’utilisation du nofollow nous fait supprimer les liens cibles de notre graphique global du Web. Cependant, les pages cibles peuvent toujours apparaître dans notre index si d’autres sites y renvoient sans utiliser le nofollow, ou si les URL sont soumises à Google dans un sitemap.

En bref, vous devez vous assurer que tous les liens internes vers des pages indexables sont suivis.

Pour ce faire, utilisez l’outil d’audit de site d’Ahrefs pour explorer votre site. Vérifiez le rapport sur les liens pour les pages indexables avec les erreurs « La page ne contient que des liens internes entrants sans suivi » :

Supprimez la balise nofollow de ces liens internes, en supposant que vous souhaitiez que Google indexe la page. Si ce n’est pas le cas, supprimez la page ou ne l’indexez pas.

7) Ajouter des liens internes “puissants”

Google découvre de nouveaux contenus en explorant votre site Web. Si vous omettez de créer un lien interne vers la page en question, il se peut qu’ils ne puissent pas la trouver.

Une solution simple à ce problème consiste à ajouter des liens internes à la page. Vous pouvez le faire à partir de n’importe quelle autre page Web que Google peut explorer et indexer. Cependant, si vous souhaitez que Google indexe la page le plus rapidement possible, il est logique de le faire à partir de l’une de vos pages les plus “puissantes”.

Pourquoi? Parce que Google est susceptible de réexplorer ces pages plus rapidement que les pages moins importantes.

Pour ce faire, rendez-vous sur Site Explorer d’Ahrefs , entrez votre domaine, puis consultez le rapport Best by links .

Cela montre toutes les pages de votre site Web triées par classement d’URL (UR). En d’autres termes, il affiche d’abord les pages qui font le plus autorité.

Parcourez cette liste et recherchez les pages pertinentes à partir desquelles ajouter des liens internes vers la page en question.

Par exemple, si nous cherchions à ajouter un lien interne à notre guide de publication d’invités , notre guide de création de liens offrirait probablement un endroit pertinent à partir duquel le faire. Et il se trouve que cette page est la 11e page la plus autorisée de notre blog :

Google verra alors et suivra ce lien la prochaine fois qu’il réexplorera la page.

CONSEIL DE PRO

Collez la page à partir de laquelle vous avez ajouté le lien interne dans l’outil d’inspection d’URL de Google. Appuyez sur le bouton “Demander l’indexation” pour informer Google que quelque chose sur la page a changé et qu’il doit la réexplorer dès que possible. Cela peut accélérer le processus de découverte du lien interne et, par conséquent, de la page que vous souhaitez indexer.

8) Assurez-vous que la page est précieuse et unique

Il est peu probable que Google indexe des pages de mauvaise qualité car elles n’ont aucune valeur pour ses utilisateurs. Voici ce que John Mueller de Google a dit à propos de l’indexation en 2018 :

Il sous-entend que si vous voulez que Google indexe votre site Web ou votre page Web, il doit être “génial et inspirant”.

Si vous avez exclu les problèmes techniques liés au manque d’indexation, un manque de valeur pourrait être le coupable. Pour cette raison, il vaut la peine de revoir la page avec un regard neuf et de vous demander : cette page est-elle vraiment utile ? Un utilisateur trouverait-il de la valeur dans cette page s’il cliquait dessus à partir des résultats de recherche ?

A LIRE Quel est l'inverse du référencement naturel ?

Si la réponse est non à l’une ou l’autre de ces questions, vous devez améliorer votre contenu.

Vous pouvez trouver davantage de pages potentiellement de mauvaise qualité qui ne sont pas indexées à l’aide de l’outil d’audit de site et du profileur d’ URL d’Ahrefs . Pour ce faire, accédez à Page Explorer dans Ahrefs’ Site Audit et utilisez ces paramètres :

Cela renverra des pages “légères” qui sont indexables et qui n’obtiennent actuellement aucun trafic organique. En d’autres termes, il y a de bonnes chances qu’ils ne soient pas indexés.

Exportez le rapport, puis collez toutes les URL dans URL Profiler et exécutez une vérification d’indexation Google.

IMPORTANT

Il est recommandé d’utiliser des proxies si vous faites cela pour un grand nombre de pages (c’est-à-dire plus de 100). Sinon, vous courez le risque que votre IP soit bannie par Google. Si vous ne pouvez pas le faire, une autre alternative consiste à rechercher sur Google un “vérificateur d’indexation Google en vrac gratuit”. Il existe quelques-uns de ces outils, mais la plupart d’entre eux sont limités à moins de 25 pages à la fois.

Vérifiez toutes les pages non indexées pour des problèmes de qualité. Améliorez si nécessaire, puis demandez la réindexation dans Google Search Console.

Vous devez également viser à résoudre les problèmes de contenu dupliqué. Il est peu probable que Google indexe les pages en double ou quasi-dupliquées. Utilisez le rapport de contenu dupliqué dans Audit de site pour vérifier ces problèmes.

9) Supprimer les pages de mauvaise qualité (pour optimiser le “budget de crawl”)

Avoir trop de pages de mauvaise qualité sur votre site Web ne sert qu’à gaspiller le budget de crawl .

Voici ce que dit Google à ce sujet :

Le gaspillage des ressources du serveur sur [les pages à faible valeur ajoutée] drainera l’activité d’exploration des pages qui ont réellement de la valeur, ce qui peut retarder considérablement la découverte d’un contenu de qualité sur un site.

Considérez-le comme un enseignant qui note des essais, dont l’un est le vôtre. S’ils ont dix essais à noter, ils arriveront assez rapidement au vôtre. S’ils en ont une centaine, cela leur prendra un peu plus de temps. S’ils en ont des milliers, leur charge de travail est trop élevée et ils pourraient ne jamais se déplacer pour noter votre essai.

Google déclare que “le budget d’exploration […] n’est pas quelque chose dont la plupart des éditeurs doivent s’inquiéter” et que “si un site a moins de quelques milliers d’URL, la plupart du temps, il sera exploré efficacement”.

Néanmoins, supprimer les pages de mauvaise qualité de votre site Web n’est jamais une mauvaise chose. Cela ne peut qu’avoir un effet positif sur le budget de crawl.

10) Créez des backlinks de haute qualité

Les backlinks indiquent à Google qu’une page Web est importante. Après tout, si quelqu’un y est lié, il doit avoir une certaine valeur. Ce sont des pages que Google veut indexer.

Pour une transparence totale, Google n’indexe pas seulement les pages Web avec des backlinks. Il y a beaucoup (des milliards) de pages indexées sans backlinks. Cependant, étant donné que Google considère que les pages avec des liens de haute qualité sont plus importantes, ils sont susceptibles d’explorer et de réexplorer ces pages plus rapidement que celles qui n’en ont pas. Cela conduit à une indexation plus rapide.

Nous avons beaucoup de ressources sur la création de backlinks de haute qualité sur le blog.

Indexation ≠ classement

L’indexation de votre site Web ou de votre page Web dans Google n’est pas synonyme de classement ou de trafic.

Ce sont deux choses différentes.

L’indexation signifie que Google connaît votre site Web. Cela ne signifie pas qu’ils vont le classer pour toute requête pertinente et utile.

C’est là qu’intervient le référencement, l’art d’optimiser vos pages Web pour les classer en fonction de requêtes spécifiques.

En bref, le SEO implique :

Trouver ce que vos clients recherchent ;
Créer du contenu autour de ces sujets ;
Optimiser ces pages pour vos mots-clés cibles ;
Créer des backlinks ;
Republier régulièrement le contenu pour qu’il reste “evergreen”.

Dernières pensées

Il n’y a que deux raisons possibles pour lesquelles Google n’indexe pas votre site Web ou votre page Web :

Des problèmes techniques les empêchent de le faire
Ils voient votre site ou votre page comme étant de mauvaise qualité et sans valeur pour leurs utilisateurs.

Il est tout à fait possible que ces deux problèmes existent. Cependant, je dirais que les problèmes techniques sont beaucoup plus fréquents. Des problèmes techniques peuvent également entraîner la génération automatique de contenu indexable de faible qualité (par exemple, des problèmes de navigation à facettes). Ce n’est pas bon.

Pourtant, parcourir la liste de contrôle ci-dessus devrait résoudre le problème d’indexation neuf fois sur dix.

N’oubliez pas que l’indexation ≠ classement. Le référencement est toujours essentiel si vous souhaitez vous classer pour toutes les requêtes de recherche intéressantes et attirer un flux constant de trafic organique.