Nie potrzebujesz karty GPU za 2000 dolarów, aby uruchomić AI. Małe modele językowe (SLM) są na tyle wydajne, że działają na urządzeniach brzegowych.
Zalecane modele
- Phi-3.5 Mini (3.8B): cudo Microsoftu. Działa niemal na wszystkim.
- Qwen 2.5 1.5B/3B: niesamowita wydajność w kodowaniu jak na swój rozmiar.
- Gemma 2 2B: lekki model Google.
Konfiguracja Raspberry Pi 5
- Zainstaluj 64-bitowy system (Ubuntu lub Raspberry Pi OS).
- Zainstaluj Ollama:
curl -fsSL https://ollama.com/install.sh | sh - Uruchom malutki model:
ollama run qwen2.5:1.5b - Czego oczekiwać: 3–5 tokenów na sekundę. Nadaje się do prostych poleceń.
Optymalizacja laptopa (czas pracy baterii)
Uruchamianie modeli LLM szybko rozładowuje baterię.
- Używaj formatu GGUF: jest zoptymalizowany pod kątem wydajności CPU.
- Ogranicz liczbę wątków: w Ollama możesz ustawić
OMP_NUM_THREADS=4, aby nie wykorzystywała wszystkich rdzeni, co oszczędza energię.
Aby sprawdzić konkretny model, użyj kalkulatora VRAM: pokazuje pamięć potrzebną przy każdej kwantyzacji i długości kontekstu.