站点地图重定向检测

站点地图告诉搜索引擎您希望抓取哪些 URL 并将其编入索引，因此其中的每个 URL 都应该是规范 URL，并直接返回 200 OK。发生重定向的 URL 会传递相互矛盾的信号：站点地图说请将其编入索引，重定向却说这个地址已经迁移。Google Search Console 会将这类 URL 报告为网页会自动重定向（Page with redirect），它们还会占用本可以留给真实页面的抓取请求。

失效的 URL（例如 404、410 或 5xx 错误）问题更严重。它们会让爬虫认为站点地图已经过时，并可能降低搜索引擎对站点地图的信任度。

• 输入完整的站点地图 URL，或者只输入域名；只输入域名时，TrueURL 会先尝试 /sitemap.xml，然后读取 robots.txt 中的 Sitemap: 行。
• 支持标准的 <urlset> 站点地图、站点地图索引文件（最多 10 个子站点地图）、gzip 压缩的 .xml.gz 文件，以及每行一个 URL 的纯文本站点地图。
• 最多按出现顺序检测 500 个页面 URL，使用与其他工具相同的重定向检测引擎。为遵守速率限制，每次只同时检测几个，因此完整运行一次可能需要几分钟。
• 检测结果可以导出为 CSV 或 JSON。

如果用这种方式找不到站点地图，请输入它的完整 URL。

• 发生重定向的 URL：用检测结果中的最终 URL 替换每一个这样的 URL；如果最终页面已经在列表中，则直接删除。
• http:// 或主机名错误的 URL：通常是站点地图生成器使用了错误的基础 URL。请修正网站地址设置，而不是逐条修改。
• 末尾斜杠不一致：站点地图使用一种写法，而网站重定向到另一种写法。请参阅 URL 末尾斜杠检测。
• 404 和 410 URL：把已删除的页面从站点地图中移除。
• 人机验证：如果很多 URL 返回验证页面，说明防火墙或机器人防护在拦截自动化请求。请确保经过验证的搜索引擎爬虫可以正常访问。

大多数站点地图问题都源自生成器，因此应修复插件或构建步骤并重新生成文件，而不是手动编辑。

• 只列出可编入索引的规范 URL：不包含重定向、错误和 noindex 页面，也不包含被 robots.txt 屏蔽的 URL。
• 每个站点地图不超过 5 万个 URL，未压缩时不超过 50 MB；超出时请使用站点地图索引。
• 使用绝对 URL，并与规范网站使用相同的协议和主机名。
• 保持 <lastmod> 准确。只要它始终正确，Google 就会使用它；而 <changefreq> 和 <priority> 会被 Google 忽略。