V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 403 days ago, the information mentioned may be changed or developed.
昇腾 300i DUO 服务器部署的，显存占用快 160G ，回答问题还挺快的，占用率在 70%+，但是不太会写代码，跟网页版差别巨大。
 |
1
shelken Mar 19, 2025 via iPhone
量化的版本了吧
|
1 |
3
AndrewHenry Mar 20, 2025
量化版本吗？调调温度什么的
|
 |
4
8675bc86 OP @AndrewHenry @shelken @YsHaNg
modelscope download --model Qwen/QwQ-32B 用的是这个，温度和其他设置好像没多大的作用。 又试了一下这个：modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B 比上面的那个好一点，也是啰里八嗦，很蠢。 |
Select Language