Apprenez à connaître Deeper Special Robots.txt

En savoir plus sur Special Robots.txt - Il y a 18 mois, j’écrivais un article sur l’installation d’un fichier spécial Robot.txt, mais je n’ai pas expliqué en détail ce fichier robots.txt. Cette fois, j’essaierai d’expliquer davantage ce robots.txt particulier. Les moteurs de recherche tels que Google, par exemple, ont déjà les paramètres par défaut de robots.txt dans l'analyse du robot (google crawler).

La commande la plus élémentaire du fichier robots.txt par défaut du robot d'exploration Google consiste à explorer toutes les parties du site, à l'exception des pages de recherche. C’est pourquoi le contenu unique des blogueurs débutants peut toujours être indexé et les résultats de la recherche Google apparaissent même si l’URL ou la recherche sous forme de recherche ne sont pas soumis. Et le rôle particulier de robots.txt sur une page Web est de limiter l’exploration d’analyses robotiques. C’est pourquoi les développeurs de sites sont encouragés à faire preuve de prudence lorsqu’ils utilisent un fichier robots.txt spécial.

Comment exemple Robots.txt par défaut

Le fichier par défaut de Google Robots.txt de Google peut être visualisé via la console de recherche ou communément appelé l'outil Webmaster, créer un nouveau site Web sans le fichier robots.txt spécial, l'ajouter ensuite au site de la console de recherche, puis vérifier la propriété du site, puis ouvrir l'onglet Explorer de la console de recherche et consulter la section Robots .txt Testeur.

Vous pouvez y voir les paramètres Google Default Robots.txt et les tester avec 7 robots Google, à savoir: Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google. .Voir l'image d'exemple ci-dessous;

 Robots.txt par défaut

Si, lorsque le test robots.txt est répertorié comme "autorisé", cela signifie que Googlebot peut accéder au site et l'explorer, s'il indique "bloqué", cela signifie que Googlebot n'est pas autorisé à analyser l'URL du site. Testez l'URL de votre site avec 7 types de googlebot comme ci-dessus. Si tous les statuts sont "autorisés", les paramètres de robots.txt sont corrects. Copiez le code robots.txt, puis attachez-le aux paramètres de votre site blogueur afin que l'outil de test SEO (Search Engine Optimization) puisse le lire. 

Code Robots.txt de base (valeur par défaut)

Agent utilisateur: Mediapartners-Google

Interdire:

Agent utilisateur: *

Interdire: / rechercher

Autoriser: /

Sitemap: https://atomu.blogspot.com/sitemap.xml

Maintenant, qu'en est-il de l'exemple spécial robots.txt? Une fois que vous connaissez les paramètres par défaut de robots.txt, il est très facile de comprendre le fichier spécial robots.txt. "Spécial" mentionné dans le paramètre robots.txt est un arrangement facultatif du gestionnaire de site permettant de réguler l'accès à l'analyse robotique, par exemple;

Sur une page de site Web, vous trouverez des pages confidentielles ou des pages confidentielles ou contraires à la politique de Google. Dans des cas comme celui-ci, les gestionnaires de site Web peuvent utiliser un fichier robots.txt spécial pour limiter l'analyse et l'indexation des robots d'analyse de cette page.

Exemple:

Agent utilisateur: Mediapartners-Google

Interdire:

Agent utilisateur: *

Interdire: / rechercher

Interdit: /p/cepika-cepiki.html

Refuser: /document-privacy.html

Autoriser: /

Sitemap: https://atomu.blogspot.com/sitemap.xml

Notez que les deux lignes du code "Interdit" indiquées en gras ci-dessus sont des exemples de robots.txt spécial. Les deux URL ne seront pas explorées par robot.crawl et ne seront pas affichées dans les pages de résultats de recherche. Il est donc compréhensible qu'un fichier robots.txt spécial soit notre propre paramètre facultatif permettant de limiter l'accès des robots à l'exploration de notre site.

S'il n'y a pas de page confidentielle (confidentialité), il n'est pas nécessaire de restreindre l'accès au robot d'analyse (google crawler). Il est recommandé "assez" d'utiliser le paramètre par défaut robots.txt. Après avoir bien compris, faites preuve de créativité avec le fichier Special Robots.txt.

Télécharger un fichier spécial Robots.txt sur le Webmaster (console de recherche)

Comment mettre à jour ou télécharger un fichier robots.txt spécial à partir du site de blogueur sur l'outil pour les webmasters (console de recherche)?

Pour mettre à jour le fichier robots.txt spécial, que vous ajoutiez ou réduisiez le fichier robots.txt via le blogueur "Paramètres" du tableau de bord, entrez dans la console de recherche et ouvrez la fonction de test robots.txt. Cliquez sur le bouton d'envoi pour mettre à jour / télécharger le fichier robots.txt. Habituellement, une fenêtre contextuelle contenant 3 choix s'affiche. Sélectionnez Soumettre pour mettre à jour le fichier robots.txt, après avoir actualisé la console de recherche pour afficher les résultats.

Ainsi, l'explication de "spécial robots.txt" de ma part peut être utile et augmenter les connaissances. Je dédie cet article aux blogueurs, en particulier aux visiteurs qui se demandent "pourquoi le code du fichier robots.txt est-il bref ici, alors que sur le site voisin, c'est long". S'il est bien compris, cet article suffit pour y répondre. Désolé, je n'ai pas publié ses commentaires parce que je ne m'étais pas abonné aux commentaires.