涉及模型、价格和版本的文章以发布时信息为准；使用前请核对官方资料。
为什么要在本地运行大语言模型？
- 隐私：数据永远不离开你的机器
- 成本：无需按token付费
- 速度：无网络延迟
- 离线：无需互联网
硬件要求
| 模型大小 | 所需内存 | GPU显存 | 示例 |
|---|---|---|---|
| 7B 参数 | 8GB | 6GB | Llama 3 7B |
| 13B 参数 | 16GB | 10GB | Llama 3 13B |
选项1：Ollama（推荐给开发者）
安装
# macOS/Linux
curl -fsSL https://ollama.com/install.sh | sh运行模型
ollama run llama3
ollama run mistral
ollama run codellama选项2：LM Studio（最适合初学者）
- 从 lmstudio.ai 下载
- 浏览并下载模型
- 加载模型开始聊天
2025年推荐模型
通用任务：
- Llama 3.2 8B：最佳综合开源模型
- Qwen 2.5：强大的多语言支持
编程：
- DeepSeek Coder V2：最佳开源编程模型
结论
在本地运行LLM从未如此简单。从 7B 模型开始，随需求增长再升级。开源模型现在可以以零成本提供 GPT-4 80-90% 的能力。
#Ollama#LM Studio#Local AI#Open Source#LLM#Tutorial