把你的本地机器变成供其他应用调用的 AI 后端。
Ollama API
Ollama 默认在 11434 端口运行一个服务器。
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1",
"prompt": "Why is the sky blue?"
}'OpenAI 兼容端点
许多应用需要 OpenAI 的 API 格式。Ollama 也提供了这一点！ 端点： http://localhost:11434/v1/chat/completions
Python 示例
from openai import OpenAI
client = OpenAI(
base_url='http://localhost:11434/v1',
api_key='ollama', # required but unused
)
response = client.chat.completions.create(
model="llama3.1",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)更进一步
- → 个人 AI 家庭服务器 —— 让这个 API 全天候运行，并通过 Tailscale 从任意设备访问。
- → 可靠的 JSON 与结构化输出 —— 让这个 API 足够可靠，可用于构建应用。
- → vLLM 部署指南 —— 当用户从一个变成很多时，以生产级吞吐量提供服务。
- → 连不上？连接被拒与端口修复