SEO 排障与索引优化

核心内容

为什么 Google 发现了页面却不索引？

这是新站最常见的问题。Google 通过 sitemap 发现了你的页面，但在评估后认为页面质量不足以进入索引。常见原因包括：页面字数不足（建议每页至少 1200 字中文）、缺少结构化数据（JSON-LD Schema）、内链网络薄弱（每页少于 3 条内链）、以及站点整体权威信号不足。修复这些问题后，通常需要 2-4 周才能在 GSC 中看到变化。

Sitemap 提交后多久生效？

Google 官方说法是"可能需要几天到几周"。实际经验：全新 sitemap URL（从未提交过的路径）通常在 20 分钟内被处理；已有失败记录的旧 URL 可能需要数周甚至一直不重试。这就是为什么本站在排障时选择换用 sitemap-index.xml 而非等待旧 URL 恢复。如果你的 sitemap 超过 48 小时仍显示 Couldn't Fetch，建议用测试文件法验证链路，必要时更换 sitemap URL。

robots.txt Disallow 和 X-Robots-Tag 有什么区别？

Disallow 阻止 Googlebot 抓取页面（页面不会被访问），X-Robots-Tag 阻止 Google 索引页面（页面可以被抓取但不会进入搜索结果）。对于 /api/ 这类端点，建议两者都加：Disallow 节省抓取预算，X-Robots-Tag 防止已被抓取的页面意外进入索引。本站对所有 /api/* 路径同时使用了两种方式。

如何判断一个页面是否被 Google 索引？

最直接的方式是在 Google 搜索 site:ai2work.xyz/你的页面路径。如果搜不到，可以使用 GSC 的 URL Inspection 工具查看实时状态。注意：URL Inspection 只告诉你 Google 是否能访问该页面，不代表一定会索引。索引决策取决于页面质量、站点权威和内链网络。

以下文章按排障路径组织，建议从第一个开始，而不是跳着读：

1. Sitemap Couldn't Fetch 排障案例 — 当 sitemap 返回 200 但 GSC 持续报错时的完整排查流程，包括测试文件法和旧 URL 退避判断。
2. Discovered - not indexed 问题诊断 — 为什么 Google 发现了页面却不索引？从页面质量、主题结构、API 泄露三个维度分析。
3. Sitemap 结构优化 — 从 sitemapindex 到单文件 urlset 的迁移过程，以及新旧 URL 的处理策略。

排障工具与命令

排查 Sitemap 问题的常用命令：

FAQ

• Q：为什么 sitemap 返回 200 但 GSC 仍 Couldn't Fetch？
  A：可能是旧 URL 保留了历史失败状态。尝试用全新 URL（如 sitemap-index.xml）提交，验证通过后再切换。
• Q：Discovered - not indexed 怎么解决？
  A：先确保页面 >=1200 字、有 >=3 个内链、有 schema.org FAQ 标记。再检查是否有 API 端点泄露到 sitemap 中。修复后需等待 2-4 周。
• Q：robots.txt Disallow 后还需要 X-Robots-Tag 吗？
  A：建议两者都加。Disallow 阻止抓取，X-Robots-Tag 阻止索引，双重保护。
• Q：sitemap 应该放多少 URL？
  A：建议只放 canonical、有价值的页面。排除 noindex、301、404、后台页和空页面。非数量，重质量。
• Q：新站多久能被 Google 收录？
  A：没有固定时间。技术 SEO 做好后（sitemap + robots + canonical），核心页面通常 2-4 周内进入索引。
• Q：GSC URL Inspection 通过了就一定收录吗？
  A：不一定。URL Inspection 只验证可访问性，收录决策还取决于页面质量和站点权威。

相关页面