V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
konakona

WP 博客 sitemap.xml/robots.txt 正确,却始终无法提交到 GSC 的站点地图

  •  
  •   konakona · 9 天前 · 297 次点击

    Wordpress Sitemap 无法被抓取,已排查服务器/CDN/robots.txt

    个人博客成立十几年一直写文章,没怎么管过 SEO ,以前都靠自然流量,后面工作忙没管了。最近忽然想做下博客的自然流量,一看,傻了……

    我的 Wordpress 博客 Sitemap 是使用 XML Sitemap & Google News 生成的 Sitemap

    Sitemap 情况

    • ✅ 验证 sitemap.xml 的 Content-Type 正确( application/xml; charset=UTF-8 )

    • ✅ 验证 x-robots-tag 配置正确( noindex, follow )

    • ✅ 确认 WordPress 未启用"建议搜索引擎不索引本站点"

    网络访问说明

    • ✅ 服务器位于中国大陆(腾讯 CVM + 腾讯云 CDN ),已开启全球 CDN 加速 昨天晚看腾讯云 CDN 日志,Google 爬虫是来过,但是没有收录:

    时间:2026-04-11 23:53:13
    IP: xxx.xxx.xxx.xxx
    URL: /2026/03/05/openclaw-深度使用:一周踩坑总结/
    User-Agent: Googlebot
    方法:HEAD
    状态码:200
    缓存:miss​​
    

    • ✅ 使用 VPN 美国/英国/迪拜/香港节点可正常访问 robots.txt 和 sitemap.xml

    • ✅ site:[myblog domain] 只有 2 条结果(博客首页 + 1 篇 2018 年文章)

    • ✅ Google Search Console 「设置」 -> 「 robots.txt 」 显示网站的 robots.txt 已提取

    👉 😖 折腾了几天了,各种 AI 出主意,还是搞不定。发帖想请大佬帮忙看看!!拜托了!

    konakona
        1
    konakona  
    OP
       1 天前
    我用下面的语句进行模拟(不确定它就是 GSC 的检测方式):

    ```bash
    curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://blog.crazyphper.com/robots.txt
    ```

    也能访问。
    然而尴了个尬,过了 2 天收到邮件说还是说 robots.txt 不可访问。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   988 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 19:09 · PVG 03:09 · LAX 12:09 · JFK 15:09
    ♥ Do have faith in what you're doing.