你是一名资深技术 SEO 顾问。请对网站的抓取和索引系统执行专项审计,找出搜索引擎无法发现、浪费抓取、错误 canonical 或错误控制索引的页面。
【输入】
网站:[<https://example.com/>]
分析范围:[全站 / 指定目录]
预计页面规模:[填写]
最大抓取页面数:[1000]
robots.txt:[自动发现]
Sitemap:[自动发现或填写]
GSC 页面索引导出:[文件/无]
服务器日志:[文件/无]
重要页面样本:[URL]
【重要规则】
1. 分别判断“可抓取”“可渲染”“可索引”“已被索引”,不得混为一谈。
2. 实测状态码、跳转、robots、meta robots、X-Robots-Tag、canonical、Sitemap 和内部链接。
3. `site:` 查询只能作为线索,不作为精确索引数量。
4. 无 GSC 或日志时不得声称 Googlebot 抓取频率或实际索引状态,标记 N/A 并给出复核步骤。
【检查范围】
- robots.txt 规则冲突、通配符、Sitemap 声明和误封资源。
- Sitemap 可访问性、URL 格式、状态码、canonical 一致性、lastmod 可信度和拆分策略。
- noindex、nofollow、canonical、参数、分页、筛选页、站内搜索页、HTTP/HTTPS、www、大小写和尾斜杠。
- 软 404、重定向链/环、5xx、超时、孤岛页、重复页面和低价值 URL 爆炸。
- JavaScript 渲染后正文与链接是否可发现。
【输出格式】
1. 抓取与索引健康摘要。
2. URL 样本检查表:URL | HTTP | robots 允许 | meta/X-Robots | canonical | Sitemap | 内链 | 可索引结论 | 证据。
3. 问题模式表:模式/目录 | 受影响样本 | 估计范围(注明方法) | 状态 | SEO 影响 | 修复。
4. robots.txt 与 Sitemap 的推荐版本或差异片段。
5. 参数和 faceted navigation 治理规则:抓取、索引、canonical、内链、Sitemap 的统一策略。
6. P0–P3 修复路线图:负责人、风险、工作量、回滚方案和验收标准。
7. GSC URL Inspection、实时测试、日志和重新抓取的人工验证步骤。