KaiWuBOSS 最近的时间轴更新 KaiWuBOSS 最近的时间轴更新 ONLINE |
KaiWuBOSSV2EX 第 794716 号会员，加入于 2026-03-18 09:14:31 +08:00今日活跃度排名 6705 |
| 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 Local LLM • KaiWuBOSS • 几秒前 • 最后回复来自 zrlhk | 10 |
KaiWuBOSS 最近回复了
8 分钟前 回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@damontian 直接上 30b 模型你选你喜欢的 50 系列看 nvfp 的
9 分钟前 回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
@zrlhk 我正在对你这个进行修复 1 你是正常 0.1.1 吗 我看代码 怎么显示你没编译涡轮量化 2 我回退策略太大了 我调整一版 我无论如何让你跑起来 顺畅跑起来
20 分钟前 回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
我马上优化一版 空了再试试 gemma4 支持 ios3 的呀 判定有问题
28 分钟前 回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
哥 您多大显存？
1 小时 29 分钟前 回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
llmbbs.ai 欢迎交流。
Select Language