V2EX › SlipStupig 的所有回复 › 第 69 页 / 共 90 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 65 66 67 68 69 70 71 72 73 74 ... 90

❮

❯

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@tuutoo 第一次抓取是未知的，如果对方能承受，速度就明显下降了，如果是这样预设值的方式的话，不如设置级别去减少

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@anyforever 今天才发现 google 和百度是靠抢劫起家的啊

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@menc 感谢，我也在研究看怎么实现
@shiny

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@binux 每天都又大量新网站，现在已经抓死了好几个站了，基本上不敢抓了

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@binux 这个不太现实，我抓取的网站是不固定的，功能跟百度蜘蛛一样，链接是所有网站放在一个队列里面，至于上一天请求，如果我第一次抓取那个网站如何得到上一天请求？

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@VicYu 这个是限制整体带宽去跑，我要做的是同时抓取 100 个网站，这 100 个网站的并发数都是不一样的

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@binux 时间很充足

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@anexplore 我哪里有不礼貌的地方，请您指出，我一定改正

2016 年 5 月 19 日

回复了 SlipStupig 创建的主题 › Python › 爬虫抓取速度自适应问题

@binux 能说说具体方案吗？

2016 年 5 月 18 日

回复了 rosalindest 创建的主题 › 职场话题 › 没有技术背景女 PM 想做独立开发，求助各位程序爸爸

长得漂亮，啥也不说了，你的目标就是分布式调度程序狗，他们给你瞬间完成。反之则亦然

2016 年 5 月 18 日

回复了 yangxiaoluck 创建的主题 › Linux › 本地机器能够直接通过 ssh 登陆 A 机器， A 机器可以通过 ssh 登陆 B 机器，但是本地不能直接登陆 B 机器，求破

A 机器 ssh 端口转发到 B 机器的 SSH

2016 年 5 月 18 日

回复了 Specs 创建的主题 › PHP › 有哪些能够生成随机不重复字符串的算法或者函数？

用 100 次鼠标移动位置的坐标生成一个 RSA 1024 的字符串，基本上没什么重复的可能性！

2016 年 5 月 17 日

回复了 yech1990 创建的主题 › Linux › 禁用了 wget 的服务器, 这怎么破?

@yech1990 你不是要装 opencv 嘛

2016 年 5 月 17 日

回复了 shisaq 创建的主题 › 程序员 › 想问一下肚子大小和程序员级别的关系

@penjianfeng 如果皮肤黄的话，人面黄人瘦，很有可能是黄疸！脖子粗可能是甲亢！

2016 年 5 月 17 日

回复了 yech1990 创建的主题 › Linux › 禁用了 wget 的服务器, 这怎么破?

@yech1990 装 pip 然后选择版本

2016 年 5 月 17 日

回复了 yech1990 创建的主题 › Linux › 禁用了 wget 的服务器, 这怎么破?

如果有 python perl 什么的，直接 down

2016 年 5 月 17 日

回复了 shisaq 创建的主题 › 程序员 › 想问一下肚子大小和程序员级别的关系

最关键的是我要是写代码根据需求难度的不同，掉头发会掉的不一样，有一次入手一个大项目，设计一整套推荐算法到实现，然后我发现我桌子上全是头发，所以从哪个时候开始，我从不在白色桌子上干活，看了伤心掉更多头发！

2016 年 5 月 17 日

回复了 shisaq 创建的主题 › 程序员 › 想问一下肚子大小和程序员级别的关系

@penjianfeng 没有长不胖的，你看日本相扑选手，你按照他们那种吃法，绝对胖

2016 年 5 月 16 日

回复了 jevona 创建的主题 › Python › 想用 python-flask 重构 B2B 网站

@jevona 想知道你这个东西有多复杂，是不是 20 块钱做一个天猫商城啊！

2016 年 5 月 16 日

回复了 lovelynn 创建的主题 › 程序员 › 大家是如何看待(如 ios，如前端)速成培训班的呢？

@wjh3936 现在相亲网站入会费都是 8K 起步,高端的 10 万都有....不亏啥

1 ... 65 66 67 68 69 70 71 72 73 74 ... 90

❮

❯