This topic created in 2710 days ago, the information mentioned may be changed or developed.
因为是监控很多个一个网站的很多个不同的目标源，所以我决定用 APS 启动多个异步任务抓取（根据每个任务的特征，判断启动时间与结束时间，请求间隔设成五分钟一次这样）
然后这些抓取的内容先不洗清，按事先搞好分类扔进不同的 KAFKA 频道。
另一边不同的洗清模块从不同的 KAFKA 频道抽取，进行清洗，并存入 SQL 数据库，一般是 MYSQL
这样的话，我很容易就写成，抓取与清洗是两个程序。等于需要启动两个程序。一个启动爬虫抓，另一个启动清洗程序，是否成熟的作法是只有一个入口文件，启动后两个都开始执行？
Supplement 1 · Nov 25, 2018
谢谢大佬们回复 ，另想问一下，KAFKA 占用资源大不，因为只是个小项目。
 |
1
leon0318 Nov 25, 2018 via Android
第一个分号之前的内容都没读明白
|
 |
3
Wincer Nov 25, 2018 via Android
抓取和清洗应该是两个模块，但可以不用是两个程序。
|
 |
5
zn Nov 25, 2018 via iPhone
说得挺明白了。
这么说吧，两种方法都可以，并没太大优劣之分。 如果是我，我会分开，会更方便开发和调试。还能一边默默爬，一边调试清洗程序，互不干涉。 |
 |
6
kslr Nov 25, 2018
一个项目随便跑一个 queue 不就行了
我觉得分开比较好，因为可能速度不一致 |
Select Language