Index Google : Comment vérifier le total des pages indexées & obtenir une indexation instantanée par les crawlers de Google

Si vous voulez que votre site soit visible dans les recherches Google, il doit faire partie de l’index de recherche de Google.

Vous pouvez considérer cet index comme une gigantesque bibliothèque de sites Web et de pages individuelles que Google conserve pour accélérer les recherches.

Si tout se passe bien, votre site Web sera indexé automatiquement-mais que faire si ce n’est pas le cas ? Ou si seulement certaines de vos pages web sont indexées ?

Ce guide vous apprendra tout sur l’index de Google et comment vous assurer que tout votre contenu est indexé de manière appropriée, ce qui est fondamental pour le référencement.

Que sont les pages de site web indexées ?

Google conserve un « index » régulièrement auto-actualisé des pages du web afin de pouvoir générer plus rapidement les pages de résultats des moteurs de recherche (SERP). Encore une fois, il est préférable de considérer cet index comme une sorte de bibliothèque que Google peut facilement trier en cas de besoin ; si vos pages ne figurent pas dans l’index, elles ne seront pas dans les SERP.

Gogle utilise des robots automatisés (appelés spiders, ou Googlebot, le nom spécifique de l’araignée web de Google) pour parcourir constamment Internet à la recherche de nouveaux contenus et de nouveaux sites web à ajouter à l’index.

Toutes les nouvelles pages ou les quantités importantes d’informations ajoutées à une page web sont notées par Google. Chaque page d’un site Web est indexée par un robot d’exploration Web pour la valeur du contenu et pour les futures demandes de recherche des consommateurs.

Un futur client d’Internet peut effectuer une recherche en utilisant certains mots clés et les mots clés peuvent trouver une page Web avec un certain contenu ou un contenu d’image.

Les moteurs de recherche et les robots d’exploration Web de Google sont au courant de chaque nouvel élément d’information imprimé ou affiché sur une page Web au fur et à mesure qu’il est affiché.

Pourquoi les pages des sites Web sont-elles indexées ?

Chaque nouvelle page de site Internet est indexée par certaines catégories et autres outils de marquage.

Les pages sont indexées parce que le contenu et les sites Web eux-mêmes doivent être répertoriés parmi les nombreux autres sites Web qui peuvent être similaires.

Une page doit d’abord être indexée.

Les robots de Google parcourent un site Web et créent une copie en cache de chaque page. Les index déjà réalisés sont complétés et une nouvelle hiérarchie de pages de sites Web appréciées peut être créée, par exemple.

En définitive, le processus d’indexation permet à Google d’effectuer des recherches sur le Web de manière plus approfondie, plus précise et plus rapide.

Comment être indexé par Google

Alors, comment faire pour que votre site soit indexé par Google ?

Voici la bonne nouvelle. Google fait la majeure partie du travail pour vous.

Si vous n’êtes pas pressé de faire indexer vos pages et que votre site n’a rien d’anormal, il vous suffira d’attendre que les robots d’exploration de Google finissent par découvrir votre site et mettent à jour l’index en conséquence. En fonction de plusieurs variables, ce processus peut prendre de quelques heures à quelques semaines. Et, même lorsque votre page finit par être indexée, elle est susceptible de connaître une volatilité des classements via un phénomène affectueusement appelé la danse de Google.

Si vous souhaitez accélérer le processus, ou si vous voulez simplement vous assurer que Google dispose d’informations exactes, vous pouvez soumettre un sitemap et/ou demander une indexation via Google Search Console, un outil gratuit fourni aux webmasters par Google. Si vous ne l’avez pas encore fait, vous devrez vous inscrire à un compte et vérifier que vous êtes propriétaire de votre domaine Web.

Une fois que vous avez fait cela, dirigez-vous vers l' »outil d’inspection d’URL », et vous pouvez coller l’URL que vous voulez que Google indexe.

Si vous êtes intéressé par l’exploration de l’ensemble de votre site, il suffit de coller votre domaine de haut niveau et de cliquer sur « Demander l’indexation ». Sachez que ce processus peut encore prendre plusieurs jours, voire plus.

Si vous êtes prêt à fournir le travail nécessaire pour créer un fichier sitemap XML, vous pouvez également l’envoyer directement à Google via Google Search Console. Sous la section Index, cliquez sur Sitemaps, et vous aurez la possibilité de télécharger directement votre sitemap.

Comment trouver combien de pages de votre site sont indexées par Google

Comment savoir avec certitude si votre site Web et toutes ses pages sont indexés ?

Pour la méthode rapide et sale, il suffit d’effectuer une simple recherche de site dans votre barre de recherche Google avec « site:yourdomain.com »

Voici le résultat d’une recherche de site SEO.co:

Si votre site n’apparaît pas, cela signifie qu’il n’est peut-être pas indexé et qu’il y a peut-être un problème.

Comment utiliser un vérificateur de pages indexées de Google?

Vous pouvez également utiliser un vérificateur de pages indexées de Google pour déterminer si vos pages sont indexées ou non. Un vérificateur de pages indexées de Google peut être utilisé de la manière suivante :

• Entrez votre URL dans le vérificateur de pages indexées de Google.
• L’URL est le site web que vous souhaitez vérifier concernant son classement ou la valeur du contenu de la page web.
• Cliquez sur continuer pour recevoir les résultats de votre analyse.

Obtenir des détails sur les pages indexées par Google dans la Google Search Console

Comment puis-je savoir combien de pages Google a actuellement indexées pour mon entreprise ?

Si vous souhaitez creuser plus profondément, et apprendre exactement lesquelles de vos pages ont été indexées, votre meilleur pari est d’utiliser la Google Search Console.

Connectez-vous, dirigez-vous vers la zone Index, puis cliquez sur l’onglet Couverture. Là, vous serez en mesure de générer une liste de « Toutes les pages connues ».

Ici, vous obtiendrez une ventilation du nombre de vos pages qui sont actuellement valides, combien sont « Valides avec des avertissements », et combien d' »Erreurs » vous avez.

Si vous voyez des zéros partout ici, cela signifie qu’il y a un sérieux problème ; Google n’indexe pas du tout votre site.

Si vous voyez un nombre de pages dans la colonne « Valide » égal au nombre de pages de votre site, tout est réglé. Si vous avez des pages dans les sections « Valides avec avertissements » ou « Erreur », vous pouvez les explorer ; Google vous dira précisément ce qui ne va pas et ce qu’il faut faire pour résoudre le problème.

Pendant que vous y êtes, vous pouvez vérifier si une page spécifique est indexée à l’aide de l’outil d’inspection des URL (déjà abordé ci-dessus). Il suffit de copier/coller l’URL dans l’outil et Google vous dira si la page est présente dans l’index Google ou non.

C’est fantastique pour vérifier que vos efforts sont fructueux si vous devez dépanner une page spécifique non indexée. C’est également de cette façon que vous pouvez obtenir une indexation instantanée.

Pourquoi Google n’indexe pas votre site

Cela n’arrive pas souvent, mais quand c’est le cas, c’est dévastateur.

Si vous voulez obtenir du trafic organique à partir de recherches en ligne, vous devez vous assurer que votre site est visible – en d’autres termes, si vous voulez apparaître sur les pages de résultats de recherche de Google, Google doit savoir que votre site existe.

Et si votre site n’est pas indexé par Google, il pourrait tout aussi bien ne pas exister.

Si votre site n’apparaît pas du tout par le biais de la recherche organique, luttez contre la tentation de commencer à paniquer. La plupart du temps, il s’agit simplement d’une indication d’une erreur ou d’un blocage qui empêche Google d’indexer votre site – et ces problèmes sont facilement résolus.

Regardez ces 10 raisons pour lesquelles Google pourrait ne pas indexer votre site – si vous ne pouvez pas être trouvé dans Google, il y a des chances que l’une d’entre elles soit le coupable.

1. Vous n’avez pas à la fois un domaine www et non-www.

Pour le visiteur web moyen, il n’y a pas de réelle différence entre une URL qui commence par https:// ou https://www. Les deux mènent finalement au même endroit, de sorte que la plupart des utilisateurs et des webmasters n’y réfléchissent pas. Mais la variante www est en fait un sous-domaine de la version plus large non-www. Pour que votre site Web soit indexé correctement, vous devez vérifier que vous êtes propriétaire des deux dans les Outils pour webmasters de Google. Vous pouvez également définir votre domaine préféré, afin d’informer Google de la version que vous souhaitez utiliser en priorité.

2. Google est toujours à la recherche de votre site.

Si vous venez de lancer un site et que vous avez parcouru avec enthousiasme Google pour voir votre site répertorié, détendez-vous. Il faut généralement à Google au moins quelques jours pour indexer un nouveau site. Si plusieurs jours se sont déjà écoulés et que vous n’avez toujours pas vu de résultats, cela peut signifier que Google a du mal à indexer votre site – et cela signifie généralement que vous avez un problème de sitemap. Si vous n’avez pas encore créé ou téléchargé un plan de site correctement formaté, le problème peut venir de là. Une fois corrigé, vous pouvez  » forcer  » Google à explorer votre site Web par le biais de Google Search Console.

C’est de loin le coupable le plus courant, donc si vos pages ne sont pas indexées, c’est probablement ce qui est responsable.

3. Vous avez un fichier robots.txt persistant.

Les fichiers robots.txt sont des fichiers d’instructions qui peuvent indiquer aux robots de recherche comment opérer.

Occasionnellement, les développeurs ou les gestionnaires de contenu utiliseront un fichier robots.txt pour empêcher un moteur de recherche d’indexer une page donnée intentionnellement (comme si la page n’est pas prête pour une visualisation publique).

Essentiellement, le fichier communique avec les robots de Google et leur dit de ne pas indexer un site ou une page spécifique sur ce site – donc si vous mettez à jour ou supprimez le fichier, vous cesserez d’avoir un problème d’indexation.

Faites un examen approfondi du code de votre site Web et mettez à jour toutes les instances des fichiers robots.txt qui ne sont pas en place pour une raison spécifique.

Vous devrez encore donner à Google quelques jours pour indexer votre site après avoir corrigé le fichier erroné.

4. Google rencontre des erreurs d’exploration.

Cela n’arrive pas souvent, mais il est possible que Google ait des difficultés à crawler certaines de vos pages web.

Si votre page d’accueil est indexée, mais que toutes vos pages internes ne le sont pas, cela pourrait être le symptôme d’une simple erreur de crawling. Connectez-vous à Google Search Console et cliquez sur « Crawl », puis sur « Crawl Errors ».

Cela vous mènera à une liste de toutes les pages de votre site qui connaissent actuellement des erreurs de crawling. Ces erreurs sont parfois imputables aux fichiers robots.txt, détaillés ci-dessus, mais peuvent aussi être le résultat d’erreurs DNS ou d’erreurs de serveur, toutes deux facilement corrigibles dans la plupart des circonstances.

5. Le contenu dupliqué interfère avec les crawlers.

Si vous suivez les meilleures pratiques en matière de marketing de contenu, cela ne devrait pas être un problème, mais il existe des circonstances où le contenu dupliqué peut exister sur votre site – comme des variations d’une « page maîtresse » conçue pour des audiences légèrement différentes.

Si Google détecte plusieurs instances de contenu dupliqué, les crawlers des moteurs de recherche peuvent devenir confus et abandonner complètement l’indexation de votre site.

La façon la plus simple de corriger cela est de se débarrasser du contenu dupliqué.

Si la suppression totale du contenu dupliqué n’est pas une option, vous pouvez utiliser des redirections 301 ou des fichiers robots.txt sélectifs pour vous assurer que Google n’explore qu’une seule instance de chaque page.

6. Votre site connaît des problèmes de chargement.

Si Google va indexer votre site, votre site doit être en place.

Cela signifie que si vous rencontrez un problème de chargement lorsque Google tente d’indexer votre site, vous pourriez manquer l’opportunité d’être indexé.

Des temps de chargement ridiculement longs sont parfois en cause ; si c’est le cas, vous pouvez diminuer vos temps de chargement en mettant en place un système de cache décent, en réduisant la taille de vos images et en installant quelques applications pour faire fonctionner le site plus rapidement. Il est également possible que votre hébergement ne soit pas fiable, ce qui entraîne des temps d’arrêt intermittents qui interrompent les tentatives d’indexation de Google.

7. Vous utilisez des langages de codage mal optimisés.

Google a de fortes préférences en ce qui concerne le type de code de votre site. Le HTML est l’un des langages les plus facilement indexés disponibles, mais toutes les options n’ont pas cette chance.

JavaScript et AJAX, par exemple, sont pris en charge par Google, mais ils ne sont pas aussi facilement indexés que le HTML.

Si votre site est construit en AJAX ou JavaScript et que votre structure n’est pas juste, Google pourrait avoir des difficultés à indexer vos pages.

8. Vous êtes bloqué par des paramètres .htaccess ou de confidentialité.

Si vous gérez un site WordPress, il est possible que vous ayez accidentellement activé les paramètres de confidentialité – vous pouvez les désactiver en vérifiant « Confidentialité » sous l’onglet Paramètres.

Il est également possible que vous utilisiez un fichier .htaccess pour votre site web sur le serveur.

Bien que les fichiers .htaccess soient utiles dans la plupart des cas, ils peuvent parfois interférer avec l’indexation du site.

9. Vous avez une indication Noindex ou Nofollow quelque part dans la balise meta.

Tout comme le fichier robots.txt, c’est un ajout qui peut masquer les pages de votre site pour qu’elles ne soient pas trouvées par les crawlers des moteurs de recherche. Vérifiez le code de votre site et cherchez la balise « noindex » quelque part dans un titre méta. Si vous la trouvez quelque part, vous avez instantanément diagnostiqué votre problème d’indexation. Il suffit de supprimer la balise et de la remplacer si nécessaire, et vous devriez être de retour sur la voie rapide de l’indexation par les moteurs de recherche.

10. Vous avez été frappé par une pénalité massive.

Lorsque Google pénalise des sites, il le fait généralement en faisant baisser les rangs et donc, la visibilité et le trafic. Cependant, il existe des cas rares et extrêmes où Google pénalise un site en le supprimant complètement des index.

C’est un type de pénalité manuelle réservée aux infractions majeures, vous n’avez donc pas à vous en préoccuper, sauf si vous avez fait quelque chose de très mal aux yeux de Google.

Si vous avez été désindexé de cette façon, vous avez probablement déjà été notifié par Google, donc à moins que ce ne soit le cas, vous n’avez pas à vous inquiéter de ne pas être indexé à titre de punition.

Une fois que votre site est indexable, donnez à Google quelques jours pour rattraper le retard. Vous devriez commencer à voir votre site dans les résultats des moteurs de recherche sous peu.

Si vous avez encore des problèmes, il est possible que votre problème d’indexation soit plus complexe que d’habitude.

Si vous apparaissez, mais que vous êtes classé très bas, cela pourrait être une indication que votre site est encore nouveau et n’a pas beaucoup d’autorité, ou cela pourrait être une indication d’une pénalité.

Dans les deux cas, rester engagé dans les meilleures pratiques sur une période de temps prolongée est la meilleure façon d’augmenter votre visibilité.

Comment puis-je corriger un problème si les pages de mon site Web ne sont pas répertoriées ?

Si votre site n’est pas entièrement indexé dans Google, vous pourriez passer à côté d’un trafic (et de revenus) sérieux. Si les pages ne sont pas dans les SERPs de Google, elles ne sont pas spécialement découvrables.

Si vous constatez que certaines (ou toutes) de vos pages ne sont pas indexées, prenez les mesures suivantes :

1. Utilisez Google Search Console pour vérifier quelles sont les pages qui ne sont pas indexées. Est-ce l’ensemble de votre site qui n’est pas indexé, ou seulement une poignée de pages ? Comme vous pouvez vous en douter, plus il y a de pages manquantes, plus le problème est important.

2. Identifiez la cause profonde du problème. Même si vous n’êtes pas un expert technique, vous devriez être en mesure de déterminer la cause profonde de votre problème. Consultez la section précédente pour connaître les raisons possibles pour lesquelles Google ne parvient pas à indexer votre site. Si votre site est récent et qu’aucune de vos pages n’est indexée, il peut s’agir d’un retard naturel. Si ce n’est pas le cas, vous avez probablement un fichier robots.txt, un bloqueur de confidentialité ou un autre élément de code qui empêche vos pages d’être indexées.

3. Corrigez le problème et soumettez un sitemap mis à jour. Quel que soit le problème, travaillez à le corriger. Lorsque vous avez terminé, vous pouvez soumettre un sitemap mis à jour à Google. Dans Google Search Console, sélectionnez « Ajouter une propriété », puis téléchargez votre sitemap mis à jour. Lorsque vous avez terminé, vous pouvez utiliser l’outil « Récupérer comme Google » pour demander spécifiquement à un robot d’explorer la page que vous avez désignée. Il vous suffit de saisir l’URL, de choisir « Desktop » ou « Mobile », puis de cliquer sur « Fetch ». Ce processus prendra un certain temps, mais une fois terminé, Google évaluera vos pages pour l’indexation.

Si vous êtes coincé avec des pages non indexées et que vous n’êtes pas sûr de ce qui ne va pas, suivez ces étapes de dépannage de base :

• Supprimez tout blocage d’exploration dans votre fichier robots.txt. Vérifiez votre fichier robots.txt en vous rendant sur votredomainehere.com/robots.txt. Là, vous pouvez utiliser CTRL + F pour rechercher « Googlebot » et « * ». Si vous avez des lignes qui spécifient User-agent : Googlebot ou User-agent : * (qui s’adresse à tous les robots), les pages qu’elles interdisent ne seront pas indexées dans Google. Dans certains cas, cela peut être avantageux, mais le plus souvent, il s’agit d’une simple barrière à l’indexation. Mettez à jour votre fichier robots.txt sur le backend pour résoudre ce problème.

• Supprimez les balises noindex parasites. De même, si vous avez des balises content= »noindex » dans vos balises méta, les robots de recherche de Google n’indexeront pas votre contenu. C’est un problème simple à trouver et à corriger, même si vous n’avez aucune compétence en codage.

• Supprimez les balises canoniques qui ne sont pas précises. Les balises canoniques sont des balises de page facultatives qui indiquent à Google quelle version de votre page est la page préférée, « canonique ». Certaines pages possèdent une balise canonique auto-référencée qui indique à Google qu’il s’agit de la seule version. Toutefois, si elle n’est pas mise en œuvre correctement, une balise canonique peut indiquer à Google de rechercher une page canonique différente, qui n’existe pas. Si cela se produit, le processus d’indexation de Google peut s’en trouver perturbé. Si c’est votre problème, il devrait apparaître comme une erreur de crawl dans Google Search Console.

• Mettez à jour votre sitemap. Googlebot devrait être en mesure de découvrir tout votre contenu de manière organique, mais vous pouvez créer et mettre à jour votre sitemap XML juste pour être sûr. Téléchargez-le via Google Search Console pour aider Google à « voir » le spectre complet de votre site.

Et n’oubliez pas que la plupart des personnes préoccupées par le fait que leurs sites ne sont pas indexés n’ont tout simplement pas attendu assez longtemps.

Si cela ne fait que quelques heures ou quelques jours que votre site est en ligne, essayez d’être patient.

Les araignées de Google sont bonnes dans ce qu’elles font, mais elles prennent un certain temps pour travailler.

Comment les pages d’un site Web sont-elles évaluées et classées ?

Ce n’est pas parce que les pages de votre site web sont indexées qu’elles vont être très visibles dans les recherches Google. C’est parce que Google veut s’assurer que les utilisateurs de la recherche Google trouvent le meilleur contenu possible lorsqu’ils effectuent une recherche.

Google catégorise les pages en fonction de leur pertinence, et les classe en fonction de leur fiabilité (ou « autorité »), donc même si vos pages sont indexées, elles peuvent ne pas apparaître pour les recherches de votre public cible.

L’optimisation des moteurs de recherche (SEO) est le processus consistant à apporter des modifications sur site et hors site pour augmenter la probabilité de classement de vos pages.

C’est un sujet extraordinairement profond qui ne peut pas être suffisamment couvert dans un seul article, mais si vous êtes nouveau dans le monde du SEO, voici quelques-uns des facteurs de classement les plus importants qui méritent d’être pris en compte :

• • Pertinence du contenu. Google doit s’assurer que votre contenu s’aligne sur l’intention des utilisateurs de recherche. Dans l’ancien temps du référencement, cela signifiait farcir votre site de mots-clés et d’expressions spécifiques. De nos jours, Google est trop sophistiqué pour se laisser prendre à cette astuce ; il vaut mieux répondre à des questions spécifiques qu’un utilisateur pourrait se poser ou couvrir un sujet spécifique de manière naturelle et approfondie.
• • Qualité du contenu. Google veut que seul le meilleur contenu soit classé suffisamment haut pour qu’un utilisateur clique. Votre contenu doit être profond, concis et bien écrit. Il doit citer plusieurs sources, couvrir le sujet dans son intégralité et être exempt d’erreurs.
• • En-têtes et balises. Le code backend de vos pages a également son importance. L’inclusion de balises de titre concises et stratégiquement chargées de mots-clés, de méta-descriptions et d’en-têtes peut tous augmenter votre potentiel de classement.
• • Liens externes. L’un des meilleurs marqueurs de fiabilité, pour ce qui est de Google, est un lien pointant vers votre page depuis un site externe. Plus vous avez de liens entrants, et plus ces liens font autorité (c’est-à-dire qu’ils proviennent d’une source digne de confiance), mieux c’est.
• • Liens internes. Il est également utile que vos pages soient étroitement liées les unes aux autres, afin que les utilisateurs puissent facilement naviguer de page en page sur votre site. Cela facilite également l’exploration de votre site par Googlebot.

• Vitesse de chargement et facteurs techniques. Google examine également une variété de facteurs techniques liés aux performances de votre page. Par exemple, les pages qui sont optimisées pour les mobiles et celles qui se chargent rapidement ont tendance à être mieux classées que celles qui ne le sont pas et ne le peuvent pas.

Comment puis-je apporter plus de trafic et de ventes converties à mon activité sur Internet ?

Même si vous avez un produit convaincant et un modèle commercial fantastique, cela n’aura aucune importance si les gens ne sont pas en mesure de découvrir votre entreprise en premier lieu.

Et la meilleure façon de rendre votre entreprise découvrable dans l’ère moderne est par le biais du moteur de recherche de Google.

L’indexation est la première étape. Après avoir lu ce guide, vous devriez être en mesure d’obtenir votre site Web correctement indexé dans Google – même si vous devez passer par quelques étapes de dépannage pour le faire.

À partir de là, vous devrez consacrer votre attention à l’augmentation de votre classement dans les SERPs de Google avec l’aide de la construction de liens, de la création de contenu et d’autres tactiques de référencement. Si vous souhaitez en savoir plus, ou si vous êtes prêt à commencer une stratégie de référencement à partir de zéro, contactez-nous dès aujourd’hui pour une consultation gratuite !

Résumé

L’index de Google est une archive de contenu Web qu’il utilise pour traiter les recherches des utilisateurs plus rapidement, et obtenir votre site indexé est d’une importance vitale.

Heureusement, il est généralement simple d’être indexé – même si vous rencontrez quelques obstacles en cours de route.

Une fois indexé, la seule façon de s’assurer que votre site est visible pour les nouveaux utilisateurs est d’augmenter votre classement dans les SERP – et la seule façon de le faire est le référencement.

• Auteur
• Postages récents

Chef du marketing chez SEO.co

Au cours de ses 9+ années en tant que spécialiste du marketing numérique, Sam a travaillé avec d’innombrables petites entreprises et entreprises Fortune 500 et organisations, notamment NASDAQ OMX, eBay, Duncan Hines, Drew Barrymore, le cabinet d’avocats Price Benowitz LLP basé à Washington, DC et l’organisation de défense des droits de l’homme Amnesty International.
Il est un orateur récurrent de la série de conférences Search Marketing Expo et un conférencier TEDx. Aujourd’hui, il travaille directement avec des clients haut de gamme dans tous les secteurs verticaux pour maximiser le ROI SEO sur et hors site grâce au marketing de contenu et à la création de liens. Connectez-vous avec Sam sur Linkedin.

Derniers messages de Sam Edwards (voir tous)

• Baidu SEO : Le guide ultime de l’optimisation des recherches pour Baidu.com – 25 mars 2021
• Indexation des moteurs de recherche vs. Classement des moteurs de recherche : Quelle est la différence ? – 23 mars 2021
• Clics de recherche vs. Volume de recherche : Quelle est la différence, où dois-je me concentrer ? – 18 mars 2021

.