教程 2:安装 Ollama

作者: Jakub Rusinowski最后更新 5 分钟阅读Beginner

Ollama 是入门本地 LLM 最简单的工具。它将模型权重、配置和运行时引擎打包进单个可执行文件。

1. 下载与安装

Windows

  1. 下载 Ollama for Windows。
  2. 运行 .exe 安装程序。
  3. 安装完成后,Ollama 会在后台运行(查看系统托盘)。

macOS

  1. 下载 Ollama for macOS。
  2. 解压文件,并将 Ollama 移动到"应用程序"文件夹。
  3. 打开应用。如有提示,你可能需要在"安全性与隐私"设置中批准它。

Linux

在终端中运行以下命令:

bash
curl -fsSL https://ollama.com/install.sh | sh

2. 运行你的第一个模型

Ollama 通过命令行工作(Mac/Linux 上的终端,Windows 上的 PowerShell/CMD)。

要下载并运行热门的 Llama 3.1 8B 模型,只需输入:

bash
ollama run llama3.1

Ollama 将会:

  1. 拉取模型清单(manifest)。
  2. 下载模型层(约 4.7 GB)。
  3. 校验哈希值。
  4. 将你带入聊天提示符 >>>。

现在你可以开始对话了!输入 "Why is the sky blue?" 并回车。

3. 实用命令

命令说明
ollama list显示本机安装的所有模型。
ollama pull [model]下载模型但不立即运行。
ollama rm [model]删除模型以释放磁盘空间。
ollama serve手动启动 Ollama 后台服务。

4. 故障排查

  • 错误:could not connect to ollama app: 确保 Ollama 应用正在系统托盘中运行(Windows/Mac),或服务处于活动状态(Linux:sudo systemctl start ollama)。
  • 性能缓慢: 检查模型是否能装进显存。如果溢出到系统内存,速度会非常慢。

5. 下一步

现在 Ollama 已经运行起来了,去 模型库 找一些模型来下载吧。