请求各位怎么解决 https 爬虫登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3262 天前的主题，其中的信息可能已经有所发展或是发生改变。

楼主目前爬虫调试网站的 https 的 post 请求，从 chrome 上获取到了证书，但是请求还是 acess deny，请问各位有好的 https 请求调试工具么

8 条回复 • 2017-05-08 17:03:28 +08:00

ss098

2017 年 5 月 8 日

我推测这和 HTTPS 无关，是对方的反爬虫策略所致，你可以试试检查所发出请求的特征和正常浏览器有什么区别。

welkinzh

2017 年 5 月 8 日 via Android

应该和 https 没关系我猜同楼上

pual

2017 年 5 月 8 日

post 内容基本没问题和浏览器一致，request header 部分没有添加，爬取网站 login 的时候用到了 https, 浏览器显示调用 login 接口后重定向了

gouchaoer

2017 年 5 月 8 日

浏览器信任 fiddler 证书，然后设置 fiddler 抓包，那就可以看到发送内容了

gouchaoer

2017 年 5 月 8 日

程序请求 https 也可以通过 fiddler 抓包，比较一下区别就 ok 了

pual

2017 年 5 月 8 日

@gouchaoer 问题是我不知道这种非对称加密方式，同样的明文加密后每次都是一样的，aes-256-cfb 这种就是不一样的每次

gouchaoer

2017 年 5 月 8 日

@pual 你把 sockets 代理和 https 搞混了，简单地说就是 https 的浏览器网站 fiddler 直接搞
我是高级爬虫开发工程师

pual

2017 年 5 月 8 日

@gouchaoer 多谢了