V2EX › robots
 |
请问大佬们， google 是不能抓取国内的网页了吗？我用的阿里云 DNS， google 一直说无法访问 robots.txt 搜索引擎优化 • moonlightpics • 2 月 7 日 • 最后回复来自 moonlightpics | 5 |
 |
困惑，网站长期 GSC 不被收录，谁能帮帮我 前端开发 • x007xyzabc • 2025 年 11 月 6 日 • 最后回复来自 x007xyzabc | 6 |
 |
求助：怎么让必应恢复收录
1 站长 • Deshun • 2024 年 11 月 14 日 • 最后回复来自 raywu
|
12 |
 |
GPT4 恢复的 Browse with bing 功能会被网站的 robots 协议拦截. OpenAI • HUZHUANGZHUANG • 2023 年 10 月 12 日 • 最后回复来自 HUZHUANGZHUANG | 4 |
 |
百度可以搜索微信公众号的文章了？是有合作还是无视 robots.txt？ 问与答 • Nile20 • 2023 年 8 月 5 日 • 最后回复来自 googlefans | 3 |
 |
寻一个 Python 长期的 jiān 职 Python • tiptop • 2022 年 10 月 31 日 • 最后回复来自 Michelangelono | 5 |
 |
为啥有的网站同时设置 cloudflare 的 IUAM 跟 robots.txt，这两者不冲突吗？ Cloudflare • haoliang • 2022 年 2 月 3 日 • 最后回复来自 westoy | 2 |
 |
京东没有 robots.txt 是怎样防止爬虫抓取的 程序员 • 3kkkk • 2022 年 4 月 22 日 • 最后回复来自 jiafeiblog | 25 |
 |
被百度收录的网站,加了 robots.txt 禁止搜寻引擎收录的代码后网站还在? 搜索引擎优化 • Sue6080 • 2021 年 11 月 1 日 • 最后回复来自 Sue6080 | 2 |
 |
微信移除了 robots.txt
5 微信 • icepony • 2021 年 10 月 22 日 • 最后回复来自 jekyll
|
31 |
 |
微信的 robots.txt 是否涉嫌违反《反垄断法》？
1 问与答 • captray • 2020 年 12 月 26 日 • 最后回复来自 zhoushiya
|
30 |
 |
谷歌爬虫现在不遵守 robots 标准了吗？ Google • axo • 2020 年 10 月 23 日 • 最后回复来自 axo | 2 |
 |
请教关于搜索引擎 robots.txt 的设置 问与答 • anUglyDog • 2020 年 9 月 4 日 • 最后回复来自 anUglyDog | 1 |
 |
Gitee Pages 不支持 robots.txt? 程序员 • ileeoyo • 2020 年 5 月 27 日 |
 |
第一次见,robots 还真的把百度给挡了 分享发现 • yaoye555 • 2019 年 11 月 14 日 • 最后回复来自 shansing | 14 |
 |
安利下奶飞的<Love,Death&Robots> Netflix • cat9life • 2019 年 6 月 10 日 • 最后回复来自 Fengyesuixiang | 19 |
 |
大家敢不敢不用微信？ 奇思妙想 • makeitall • 2019 年 7 月 8 日 • 最后回复来自 bishuai | 38 |
 |
大家敢不敢在 robots 里面屏蔽百度？ 奇思妙想 • woshishuia • 2019 年 6 月 4 日 • 最后回复来自 Ayersneo | 38 |
 |
能不能拦截 Internet Archive 的数据请求？ V2EX • dalieba • 2019 年 1 月 29 日 • 最后回复来自 phy25 | 6 |
 |
为什么我 robots.txt 里面已经禁止收录动态页面了， 360 还是给我收录了
1 全球工单系统 • syG6WNaS • 2018 年 8 月 18 日 • 最后回复来自 syG6WNaS
|
2 |
 |
网站测试阶段怎样不让 Google 收录？ 问与答 • lsoknet • 2018 年 7 月 30 日 • 最后回复来自 panpanpan | 4 |
 |
wget 怎么下载镜像网站的 RPM 包 Linux • plko345 • 2018 年 6 月 29 日 • 最后回复来自 plko345 | 26 |
 |
某乎的 robots 皮一下很开心？ 分享发现 • c29551 • 2018 年 5 月 15 日 • 最后回复来自 MinonHeart | 17 |
 |
YisouSpider 是不是很无耻？
1 云计算 • handwork • 2020 年 2 月 22 日 • 最后回复来自 ty5yidc
|
16 |
 |
V 社的小伙伴，我又来了，请教一个 google 页面抓取失败的问题？ 问与答 • s609926202 • 2017 年 5 月 10 日 • 最后回复来自 ayconanw | 1 |
 |
Nginx 如何内部调用不同的文件的内容？比如, /robots.txt, 实际显示 1-robots.txt 的内容？ 问与答 • aaa0009 • 2016 年 12 月 25 日 • 最后回复来自 mrytsr | 6 |
 |
google.com/ping 有什么用？ 问与答 • noreply69 • 2016 年 12 月 8 日 • 最后回复来自 xiaopc | 2 |
 |
Google 根本不理会 robots.txt 仍然收录站点的标题与 URL 问与答 • nikoo • 2016 年 12 月 2 日 • 最后回复来自 stamaimer | 14 |
 |
帮我们老师来求一个，新时代的网络营销的教学概念 问与答 • ivmm • 2016 年 9 月 20 日 • 最后回复来自 ivmm | 4 |
 |
一个网站不想让百度等搜索引擎收录怎么办 问与答 • akaayy • 2016 年 8 月 12 日 • 最后回复来自 hack | 10 |
|
360 robots 的 hostname 是什么？ 问与答 • aaa0009 • 2016 年 8 月 9 日 |
 |
话说你们有注意过 youtube 的 robots.txt 吗？ 问与答 • xzpjerry731 • 2016 年 5 月 24 日 • 最后回复来自 xzpjerry731 | 2 |
 |
是百度蜘蛛抽风了吗? 求 V 友解答! 搜索引擎优化 • wujunze • 2016 年 3 月 27 日 • 最后回复来自 wujunze | 15 |
 |
是迅雷不做 Google 的 SEO 还是 Google 的问题？ 问与答 • int64ago • 2016 年 1 月 31 日 • 最后回复来自 shippo7 | 5 |
 |
robots.txt 书写疑问 问与答 • c0427 • 2016 年 1 月 31 日 • 最后回复来自 c0427 | 1 |
 |
大家有没有遇到过 Baiduspider/2.0 不遵守 robots.txt 的情况？ 问与答 • xiaoyustudio • 2016 年 1 月 29 日 • 最后回复来自 callofmx | 15 |
 |
关于 robots.txt 的一点疑问 问与答 • le0rn0 • 2016 年 1 月 12 日 • 最后回复来自 le0rn0 | 22 |
 |
有没有办法不让搜索引擎收录 程序员 • just1 • 2015 年 11 月 14 日 • 最后回复来自 lenovo | 56 |
 |
v2ex 的登陆功能居然没有调用验证码，难道不怕各种'robots'的骚扰吗？我想知道 Livid 对于这种设计的想法。 V2EX • lenran • 2015 年 12 月 7 日 • 最后回复来自 loveminds | 23 |
 |
Acting Robots Now Stars Of The Stage 分享发现 • hjny • 2015 年 9 月 5 日 |
 |
问一个关于 wordpress 固定链接的问题，求大神指点 WordPress • nbk2015 • 2015 年 8 月 5 日 |
 |
写个脚本，递增 url 爬别的网站，算违反 robots 吗？ 问与答 • qiongqi • 2014 年 7 月 10 日 • 最后回复来自 oldcai | 72 |
 |
如何安排需要从根目录访问的静态文件？如robots.txt Flask • zzxworld • 2013 年 3 月 15 日 • 最后回复来自 zhwei | 3 |
 |
V2EX站点的robots.txt V2EX • codeframe • 2013 年 1 月 29 日 |
 |
Tornado 怎么设置robots.txt的url映射啊? Tornado • mkeith • 2013 年 1 月 19 日 • 最后回复来自 mkeith | 1 |
 |
V2EX的robots.txt不能访问是一个BUG麽？ 反馈 • catfan • 2013 年 1 月 3 日 • 最后回复来自 Livid | 1 |
 |
你们的网站有被360 spider无视robots.txt地狂抓吗？ 问与答 • lala • 2012 年 10 月 7 日 • 最后回复来自 snail2 | 7 |
 |
robots.txt无故丢失 Linux • zjhui • 2012 年 8 月 28 日 • 最后回复来自 altchen | 1 |
 |
<meta name="robots" 这句到底怎么写？ 问与答 • joynic • 2012 年 2 月 27 日 • 最后回复来自 Evance | 1 |
Select Language