Accueil » Google propose un nouveau standard pour indexer le web
High-Tech

Google propose un nouveau standard pour indexer le web

Google propose un nouveau standard pour indexer le web

Google voudrait que le web devienne plus facile à indexer par son moteur de recherche. Pour cela, l’entreprise propose que son protocole d’exclusion des robots devienne un standard officiel du web.
Google vient de demander officiellement la création d’un nouveau standard d’utilisation des fichiers “robots.txt” par les webmasters. Ce protocole normalisé faciliterait la tâche des robots d’indexation – dont son Googlebot maison – lors de leurs visites des pages d’un site Internet.

Les fichiers « robots.txt » sont utilisés par les webmasters pour lister les règles d’indexation des pages de leurs sites par les moteurs de recherche. Ils servent par exemple à interdire l’accès à certains contenus. Les principes du Robots Exclusion Protocol – REP – ont été posés en 1994. Depuis, son fonctionnement a fait ses preuves : il est à la fois souple pour les éditeurs de sites et solide pour des moteurs de recherche sans cesse à l’affût de nouveaux contenus à indexer.

Mais après 25 ans de bons et loyaux services, Google veut mettre de l’ordre dans l’utilisation du REP, que les webmasters ont eu tendance à interpréter dans tous les sens possibles (certains fichiers robots.txt pèsent plusieurs centaines de Mo). Le moteur de recherche veut également mettre à jour les normes pour tenir compte des évolutions récentes du web.

Une demande officielle a donc été transmise à l’IETF – Internet Engineering Task Force – qui gère les protocoles sur Internet. Pour appuyer sa démarche, Google a également annoncé sur son blog (lien en anglais) le passage en open source de son outil de lecture des fichiers robots.txt. Avec son parser, le moteur de recherche a déjà indexé plus de 500 millions de sites au cours des vingt dernières années. Cela représente une expérience incomparable dans la maîtrise des fichiers robots.txt, au point que Google est aujourd’hui capable d’écrire le nouveau standard de l’un des fondements les plus critiques du web.

Photo : © Chalermphon Kumchai – 123RF.com

Ce document intitulé « Google propose un nouveau standard pour indexer le web » est issu de https://www.commentcamarche.net/news/5872888-google-propose-un-nouveau-standard-pour-indexer-le-web est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.
Please complete the required fields.



A propos de l'auteur

Redaction

Ajouter un commentaire

Cliquez ici pour poster un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Ce site est hébergé avec ❤ par

Ikoula

Suivez nous sur les réseaux sociaux !

FR | GeekParadizeHub ➜ Communauté Multigaming

13 User(s) Online Join Server
  • SLXW
  • Addict
  • Zento
  • Leon Hartstrife
  • ScreaX21
  • Xekos
  • WartraxX (Sébastien T)
  • Kzerka
  • dydoohood

✉️ Abonnez-vous à notre newsletter

Recevez par email toute l'actualité High-Tech chaque matin
Abonnez-vous à notre newsletter et rejoignez les 1300 autres abonnés.

2 - Entrer votre adresse email :

Vous affirmez avoir pris connaissance de notre Politique de confidentialité. Vous pouvez vous désinscrire à tout moment à l'aide des liens de désinscription ou en nous contactant via le formulaire de contact

Tester votre débit

Nouveau !

Boutique de Goodies GeekParadize!