V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
qazwsxkevin
V2EX  ›  Local LLM

用 DGX Spark 做这些事情,是否能力合适/足够,有佬能解答吗?(估算也行)

  •  
  •   qazwsxkevin · 4 小时 28 分钟前 · 193 次点击

    这东西我都没见过实物,在 USA 的同学有一台,但是他上线后应用的事情都快拉爆了,暂时没空测我的想法,只能想象着来问一下这里各位佬了:

    • C++,Python 的代码 review;
    • 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多,爆不了上下文)
    • 给出初高中的数学物理,某题的解题思路;
      需求就这三类事情为主。

    问题:

    • DGX Spark 128G 跑个什么模型能应付以上三类强度的事情?
    • 如果有合适(或者将就)应付的模型,90%额定容量的上下文打进去,要多久时间有反应开始出 tokens?
    • 每秒能吐多少 tokens?

    考虑:

    • 场地空间和物理条件所限,只能找这类小机.
    • 可以考虑 Mac Studio M3U 256G,再新款的加钱也不好买,也贵.
    1 条回复
    lan894734188
        1
    lan894734188  
       3 小时 55 分钟前 via iPhone   ❤️ 1
    最多跑 100b 左右的 moe 模型 tps 约 40 左右 不快不慢
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2581 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 15:57 · PVG 23:57 · LAX 08:57 · JFK 11:57
    ♥ Do have faith in what you're doing.