笔者今天检查网站的 robots.txt 文件,发现其内容如下:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.coderbusy.com/wp-sitemap.xml Sitemap: https://www.coderbusy.com/sitemap.xml
最后一行的 sitemap.xml 是由 WordPress 插件 Google XML Sitemaps 生成的,但 wp-sitemap.xml 这个文件经测试无法访问。
如果想禁用默认的站点地图,并将 wp-sitemap.xml 从 robots.txt 文件中删除,可以将以下代码增加到主题的 functions.php 文件中:
add_filter( 'wp_sitemaps_enabled', '__return_false' );
保存代码并清空缓存之后,robots.txt 内容已变更为:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.coderbusy.com/sitemap.xml
robots.txt 文件查看地址: https://www.coderbusy.com/robots.txt