Ollama 是入门本地 LLM 最简单的工具。它将模型权重、配置和运行时引擎打包进单个可执行文件。
1. 下载与安装
Windows
- 下载 Ollama for Windows。
- 运行
.exe安装程序。 - 安装完成后,Ollama 会在后台运行(查看系统托盘)。
macOS
- 下载 Ollama for macOS。
- 解压文件,并将 Ollama 移动到"应用程序"文件夹。
- 打开应用。如有提示,你可能需要在"安全性与隐私"设置中批准它。
Linux
在终端中运行以下命令:
curl -fsSL https://ollama.com/install.sh | sh2. 运行你的第一个模型
Ollama 通过命令行工作(Mac/Linux 上的终端,Windows 上的 PowerShell/CMD)。
要下载并运行热门的 Llama 3.1 8B 模型,只需输入:
ollama run llama3.1Ollama 将会:
- 拉取模型清单(manifest)。
- 下载模型层(约 4.7 GB)。
- 校验哈希值。
- 将你带入聊天提示符
>>>。
现在你可以开始对话了!输入 "Why is the sky blue?" 并回车。
3. 实用命令
| 命令 | 说明 |
|---|---|
ollama list | 显示本机安装的所有模型。 |
ollama pull [model] | 下载模型但不立即运行。 |
ollama rm [model] | 删除模型以释放磁盘空间。 |
ollama serve | 手动启动 Ollama 后台服务。 |
4. 故障排查
- 错误:could not connect to ollama app: 确保 Ollama 应用正在系统托盘中运行(Windows/Mac),或服务处于活动状态(Linux:
sudo systemctl start ollama)。 - 性能缓慢: 检查模型是否能装进显存。如果溢出到系统内存,速度会非常慢。
5. 下一步
现在 Ollama 已经运行起来了,去 模型库 找一些模型来下载吧。