对于高安全性环境或末日生存主义者,以下是实现 100% 离线的方法。
1. 先下载好所有东西
你需要把模型文件(.gguf)和安装程序(Ollama 或 LM Studio)放到一个 U 盘上。
2. 在 Ollama 中旁加载(Sideload)模型
如果你有一个 .gguf 文件(如 llama3.gguf)且没有网络:
- 创建一个名为
Modelfile的文件:
FROM ./llama3.gguf- 运行:
ollama create my-offline-model -f Modelfile - 运行:
ollama run my-offline-model
3. 校验完整性
务必将下载文件的 SHA256 哈希值与 Hugging Face 仓库中的进行核对,以确保下载过程中没有损坏或被篡改。