De nombreux sites proposent des plans de site visibles par les utilisateurs, offrant une vue systématique, généralement hiérarchique, du site. Ces plans sont conçus pour aider les visiteurs à trouver des pages spécifiques et peuvent également être utilisés par les robots d'exploration. Ils servent aussi d'outil de navigation en fournissant un aperçu du contenu du site en un coup d'œil. Les plans de site organisés par ordre alphabétique, parfois appelés index de site, constituent une approche différente.

Pour être utilisé par les moteurs de recherche et autres robots d'exploration, il existe un format structuré, le sitemap XML , qui répertorie les pages d'un site, leur importance relative et leur fréquence de mise à jour. Ce sitemap est référencé dans le fichier robots.txt et se nomme généralement sitemap.xml . Ce format structuré est particulièrement important pour les sites web comportant des pages non accessibles par des liens depuis d'autres pages, mais uniquement via les outils de recherche du site ou par la construction dynamique d' URL en JavaScript .

Plans de site XML

Google a introduit le protocole Sitemap , permettant aux développeurs web de publier des listes de liens provenant de leurs sites. Le principe est simple : certains sites comportent de nombreuses pages dynamiques accessibles uniquement via des formulaires et des saisies utilisateur. Les fichiers Sitemap contiennent les URL de ces pages, permettant ainsi aux robots d'exploration de les trouver. Bing , Google, Yahoo et Ask prennent désormais en charge conjointement le protocole Sitemap.

Étant donné que les principaux moteurs de recherche utilisent le même protocole, la présence d'un sitemap leur permet de disposer d'informations de page mises à jour. Les sitemaps ne garantissent pas que tous les liens seront explorés, et l'exploration ne garantit pas l'indexation. Google Search Console permet au propriétaire d'un site web de télécharger un sitemap que Google explorera ; il peut également obtenir le même résultat avec le fichier robots.txt.

Échantillon

Vous trouverez ci-dessous un exemple de sitemap XML validé pour un site web simple de trois pages. Les sitemaps sont un outil précieux pour faciliter la recherche sur les sites, notamment ceux écrits dans des langages autres que HTML.

<urlset xmlns= "http://www.sitemaps.org/schemas/sitemap/0.9" > <url> <loc> http://www.example.net/?id=who </loc> <lastmod> 2009-09-22 </lastmod> </url> <url> <loc> http://www.example.net/?id=quoi </loc> <lastmod> 2009-09-22 </lastmod> </url> <url> <loc> http://www.example.net/?id=how </loc> <lastmod> 2009-09-22 </lastmod> </url> </urlset>

Remarques :

Comme pour tous les fichiers XML, toutes les valeurs des balises doivent être échappées en tant qu'entités.
Google ignore les valeurs « and » . <priority><changefreq>
Google peut utiliser cette valeur si elle est systématiquement et vérifiablement exacte (par exemple, si elle correspond à la date de dernière modification réelle de la page). <lastmod>