V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
inkWave
V2EX  ›  问与答

nodejs + mongodb,用 mongoose 查询返回百万级数据,内存吃不消怎么办

  •  
  •   inkWave · 2019 年 2 月 28 日 · 1882 次点击
    这是一个创建于 2599 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在业务大概是这样,要对查询回来的每一条结果,都要做一些格式上的修改,然后生成文件.

    但是查询出来的一般都是百万级的数据,一下子内存就涨个 300M,有点吃力,除了加内存外,想在查询方面做些优化.请各位指点一下.

    现在查询用的是 mongoose.aggregate(aggregateExpression).cursor().exec();返回的结果逐条做一些修改,修改后 push 到一个流里.最后把流写个文件出来.

    但是现在每次查询结果回来内存就撑爆了,也没查到 mongoose 如何返回一个流结果,请问该怎么优化一下?
    1 条回复    2019-02-28 11:15:31 +08:00
    EPr2hh6LADQWqRVH
        1
    EPr2hh6LADQWqRVH  
       2019 年 2 月 28 日
    不要 exec, 在 cursor 上 on 就可以了

    https://mongoosejs.com/docs/api.html#query_Query-cursor
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   847 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:50 · PVG 04:50 · LAX 13:50 · JFK 16:50
    ♥ Do have faith in what you're doing.