V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2863 days ago, the information mentioned may be changed or developed.
有没有这样一个服务，可以提交待爬的任务 任务包括链接 /优先级 /额外信息例如 cookie 然后服务会自动对提交的任务进行去重，按优先级排序。 这样的话爬虫端只需要不断的提交任务，领取任务。 除了数据储存以外基本上就是无状态的了。无论跑多少份都可以。
 |
1
a7a2 Jun 26, 2018
mq 就可以啊
|
 |
2
gabon Jun 27, 2018 via Android
我自己用 netty 写了一个分布式调度器
|
 |
3
AX5N Jun 27, 2018
pyspider?
|
Select Language