SEO 排障与索引优化
汇集 GSC Sitemap 排障、Discovered-not-indexed 诊断、robots.txt 配置和 sitemap 结构优化的实战经验。不是理论文章合集，而是从真实项目中长出来的可复现操作记录。
更新时间：2026-07-05
适用对象：SEO / 站长 / 独立开发者
核心内容
以下文章按排障路径组织，建议从第一个开始，而不是跳着读：
- Sitemap Couldn't Fetch 排障案例 — 当 sitemap 返回 200 但 GSC 持续报错时的完整排查流程，包括测试文件法和旧 URL 退避判断。
- Discovered - not indexed 问题诊断 — 为什么 Google 发现了页面却不索引？从页面质量、主题结构、API 泄露三个维度分析。
- Sitemap 结构优化 — 从 sitemapindex 到单文件 urlset 的迁移过程，以及新旧 URL 的处理策略。
排障工具与命令
排查 Sitemap 问题的常用命令：
# 检查 HTTP 状态和 Content-Type
curl -I https://example.com/sitemap.xml
# 验证 XML 格式
curl -fsSL https://example.com/sitemap.xml | xmllint --noout -
# GSC URL Inspection 替代：模拟 Googlebot
curl -sI -H "User-Agent: Googlebot" https://example.com/sitemap.xml
FAQ
- Q：为什么 sitemap 返回 200 但 GSC 仍 Couldn't Fetch？
A：可能是旧 URL 保留了历史失败状态。尝试用全新 URL（如 sitemap-index.xml）提交，验证通过后再切换。 - Q：Discovered - not indexed 怎么解决？
A：先确保页面 >=1000 字、有 >=3 个内链、有 schema.org FAQ 标记。再检查是否有 API 端点泄露到 sitemap 中。 - Q：robots.txt Disallow 后还需要 X-Robots-Tag 吗？
A：建议两者都加。Disallow 阻止抓取，X-Robots-Tag 阻止索引，双重保护。 - Q：sitemap 应该放多少 URL？
A：建议只放 canonical、有价值的页面。排除 noindex、301、404、后台页和空页面。数量不重要，质量重要。