V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 4011 days ago, the information mentioned may be changed or developed.
目前在尝试用 gearman 做队列服务器
主要任务是后台抓取和同步数据，看了下 API 没找到后台任务失败的情况下如何重试（比如抓取数据时连接超时或者抓取的数据不符合预期）
目前的方案是添加个失败队列，把失败的任务添加到该队列，然后由专门处理失败任务的worker进行重试，传递任务数据时有个字段记录重试次数，达到上限停止重试该任务
因为目前只开了一台 gearman，觉得这样处理和直接用 redis 的 lpush、blpop 一样啊，虽然没认真对比过2者添加、分发任务的速度
是我使用方式有问题？还是我该换个队列服务？求推荐
主要任务是后台抓取和同步数据，看了下 API 没找到后台任务失败的情况下如何重试（比如抓取数据时连接超时或者抓取的数据不符合预期）
目前的方案是添加个失败队列，把失败的任务添加到该队列，然后由专门处理失败任务的worker进行重试，传递任务数据时有个字段记录重试次数，达到上限停止重试该任务
因为目前只开了一台 gearman，觉得这样处理和直接用 redis 的 lpush、blpop 一样啊，虽然没认真对比过2者添加、分发任务的速度
是我使用方式有问题？还是我该换个队列服务？求推荐
No Comments Yet
Select Language