V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
azev
V2EX  ›  问与答

go 的爬虫 colly 中 queue async 和 parallelism 之间关系会冲突吗?

  •  
  •   azev · 2022 年 9 月 18 日 · 697 次点击
    这是一个创建于 1296 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果使用 queue 的话本身就是 async 了吧?不需要再启用 colly.Async ?再启用的话会有什么影响吗?
    Limit 中的 Parallelism 是不是只在 async 或者 queue 的情形下有效?
    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2720 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:16 · PVG 15:16 · LAX 00:16 · JFK 03:16
    ♥ Do have faith in what you're doing.