Zamień swój komputer w backend AI dla innych aplikacji.
API Ollama
Ollama domyślnie uruchamia serwer na porcie 11434.
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1",
"prompt": "Why is the sky blue?"
}'Endpoint zgodny z OpenAI
Wiele aplikacji oczekuje formatu API OpenAI. Ollama zapewnia i to! Endpoint: http://localhost:11434/v1/chat/completions
Przykład w Pythonie
from openai import OpenAI
client = OpenAI(
base_url='http://localhost:11434/v1',
api_key='ollama', # required but unused
)
response = client.chat.completions.create(
model="llama3.1",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)Idź dalej
- → Osobisty serwer domowy AI — uruchom to API na stałe i łącz się z nim z dowolnego urządzenia przez Tailscale.
- → Niezawodny JSON i uporządkowany wynik — spraw, by API było bezpieczne do budowania aplikacji.
- → Przewodnik konfiguracji vLLM — gdy jeden użytkownik staje się wieloma, serwuj z wydajnością produkcyjną.
- → Nie możesz się połączyć? Odrzucone połączenie i naprawa portów