V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  disallow
tsohgdivil 如何彻底禁止百度收录一个网站?
  •  1   
    问与答  •  tsohgdivil  •  2024 年 1 月 4 日  •  最后回复来自 vueli
    7
    rotciv 请教两个 robots.txt 相关的问题
    程序员  •  rotciv  •  2021 年 6 月 2 日  •  最后回复来自 marktask
    4
    frmongo 小白问个爬虫问题
    Python  •  frmongo  •  2018 年 7 月 19 日  •  最后回复来自 frmongo
    16
    mYYnSmiTEQWcCwAr github 不准 baidu 爬取 难道这就是 baidu 比 google 菜的原因
    GitHub  •  mYYnSmiTEQWcCwAr  •  2017 年 11 月 7 日  •  最后回复来自 est
    11
    Chalice Wordpress 如何让搜索引擎只收录首页?
    WordPress  •  Chalice  •  2016 年 11 月 24 日  •  最后回复来自 Chalice
    5
    xzpjerry731 话说你们有注意过 youtube 的 robots.txt 吗?
    问与答  •  xzpjerry731  •  2016 年 5 月 24 日  •  最后回复来自 xzpjerry731
    2
    xiaoyustudio 大家有没有遇到过 Baiduspider/2.0 不遵守 robots.txt 的情况?
    问与答  •  xiaoyustudio  •  2016 年 1 月 29 日  •  最后回复来自 callofmx
    15
    skynco 这个网站用的什么 cms 系统
    问与答  •  skynco  •  2015 年 10 月 28 日  •  最后回复来自 skynco
    6
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2790 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 12:00 · PVG 20:00 · LAX 05:00 · JFK 08:00
    ♥ Do have faith in what you're doing.