This topic created in 584 days ago, the information mentioned may be changed or developed.
不训练，就用来自己推理玩玩，4060 能跑的起来的模型哪个效果最好？
 |
1
dyexlzc Sep 20, 2024
2060s 跑 llama3.1 ，qwen2 7b 都是 20+ token/s ，你的 4060 应该速度更快，13B 以下的都可以玩玩（显存够就可以）
显存不够用内存跑也可以。 |
 |
2
Nosub Sep 20, 2024 via iPhone
虚拟机搭建本地 LLM ，各种 LLM 可以随便换，真的可以随便折腾，不会污染操作系统，做个虚拟机快照就可以了，对显卡无要求，可以先练习下，熟悉流程后，可以在真机上跑。
使用 Ollama 和 AnythingLLM 搭建 AI 和本地知识库 https://nosub.net/posts/p/219 |
Select Language