V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐书目
› 高性能网站建设进阶指南
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
This topic created in 1817 days ago, the information mentioned may be changed or developed.
这是一个矛盾啊
 |
1
Jooooooooo May 6, 2021  1
放过爬虫呗
虽然有可能会被钻漏洞, 但还是很小一部分 |
 |
2
herozzm OP @Jooooooooo 搜索引擎官方指南说：它看到的就要是用户看到的，不然就是违规，有被惩罚的风险
|
 |
3
opengps May 6, 2021 1
这个要求显然冲突，搜索引擎爬虫能爬的都是可以直接打开的
|
 |
5
FragmentLs May 6, 2021 1
meta keywords
|
|
6
herozzm OP @FragmentLs 对于搜索引擎来说 meta keyword 是不够的啊
|
 |
7
miyuki May 6, 2021 1
搜索引擎不是还有快照吗
|
 |
9
iBugOne May 6, 2021 2
一般这样用户体验会很差，不过真想做的话可以参考 Red Hat 的知识库，不付费只能看到标题和前几行字，也不影响搜索引擎抓取
还有 Expers-Exchange，这个网站在 Stack Overflow 上常常被戏称做 dash-site，因为上面内容质量很差而且还有 pay wall |
 |
10
lovestudykid May 7, 2021 1
|
 |
11
zachlhb May 7, 2021 via iPhone 1
程序判断蜘蛛，如果是蜘蛛直接放行
|
Select Language