Twój smartfon jest potężniejszy, niż myślisz. Nowoczesne flagowe telefony uruchamiają modele LLM o 1B–3B parametrów całkowicie na urządzeniu, bez internetu, bez kluczy API i z pełną prywatnością. Ten przewodnik obejmuje wszystko, czego potrzebujesz, aby zacząć.
Co jest naprawdę możliwe w 2026?
| RAM telefonu | Modele, które uruchomisz | Praktyczna szybkość |
|---|---|---|
| 6GB | SmolLM2 1.7B, Phi-3 Mini (ograniczony) | 5–10 tokenów/s |
| 8GB | Llama 3.2 1B, SmolLM2 1.7B, Gemma 3 1B | 8–15 tokenów/s |
| 12GB | Llama 3.2 3B, Phi-3 Mini 3.8B, Gemma 2 2B | 10–20 tokenów/s |
| 16GB | Llama 3.2 3B (Q8), Phi-3.5 Mini, Qwen2.5 3B | 12–25 tokenów/s |
Realistyczne oczekiwania: telefony uruchamiają małe (1B–4B) modele z szybkością rozmowy. Nie dorównają desktopowi z RTX 4090, ale są naprawdę przydatne do zadań w drodze — i działają w 100% offline.
Najlepsze aplikacje według platformy
iOS (iPhone)
| Aplikacja | Darmowa? | Najlepsza do | Obsługiwane modele |
|---|---|---|---|
| PocketPal AI | Darmowa | Ogólny czat, różnorodność modeli | GGUF (Llama, Phi, Gemma, Qwen) |
| LLM Farm | Darmowa | Nastawiona na prywatność, local-first | Format GGUF |
| Enchanted | Darmowa | Czysty interfejs, Ollama zdalnie lub lokalnie | Llama, Mistral, Gemma |
| AI Chat — Local Models | Darmowa/IAP | Przyjazna początkującym | Wyselekcjonowana lista modeli |
Android
| Aplikacja | Darmowa? | Najlepsza do | Obsługiwane modele |
|---|---|---|---|
| PocketPal AI | Darmowa | Wieloplatformowa, najlepsza biblioteka modeli | GGUF (wszystkie popularne modele) |
| MLC Chat | Darmowa | Akceleracja GPU (Vulkan), najszybsza | Modele przekonwertowane w MLC |
| Ollama (beta na Android) | Darmowa | Power userzy, dostęp do API | Wszystkie modele Ollama |
| Jan Mobile | Darmowa | Otwartoźródłowa, API zgodne z OpenAI | Format GGUF |
Rekomendacja: zacznij od PocketPal AI na obu platformach — jest darmowa, wieloplatformowa, aktywnie rozwijana i ma największą zgodność modeli.
Zalecane modele na telefony
| Model | Rozmiar | Min. RAM | Najlepszy do | Pobieranie |
|---|---|---|---|---|
| Llama 3.2 1B Instruct | ~0,8GB | 4GB | Szybki czat, proste zadania | Wbudowany w PocketPal |
| Llama 3.2 3B Instruct | ~2GB | 8GB | Najlepsza równowaga na telefonach | Wbudowany w PocketPal |
| Gemma 3 1B Instruct | ~0,7GB | 4GB | Wielojęzyczny, jakość Google | Wbudowany w PocketPal |
| Phi-3 Mini 3.8B | ~2,4GB | 8GB | Rozumowanie, zadania z kodem | PocketPal / MLC |
| SmolLM2 1.7B Instruct | ~1GB | 4GB | Ultraszybki, wydajny | Wbudowany w PocketPal |
| Qwen2.5 3B Instruct | ~2GB | 8GB | Wielojęzyczny, kod | PocketPal / MLC |
Krok po kroku: PocketPal AI (iOS i Android)
PocketPal AI to najłatwiejsza i najbardziej wszechstronna aplikacja lokalnej AI na obie platformy.
Krok 1: Instalacja
- iOS: App Store — PocketPal AI
- Android: Google Play — PocketPal AI
Krok 2: Pobierz model
- Otwórz PocketPal → dotknij zakładki Models
- Zobaczysz wyselekcjonowaną listę modeli zoptymalizowanych pod telefony
- Dla początkujących: dotknij Llama 3.2 3B Instruct Q4 → Download
- Poczekaj na pobranie (zwykle 2–4GB przez WiFi)
Krok 3: Zacznij rozmowę
- Dotknij Chat → wybierz pobrany model
- Poczekaj ~5 sekund, aż model załaduje się do RAM
- Wpisz wiadomość i wyślij
Krok 4: (Opcjonalnie) Załaduj własne modele GGUF
- Pobierz dowolny plik
.ggufz Hugging Face do aplikacji Pliki (iOS) lub Pobrane (Android) - W PocketPal → Models → Add Custom Model → wskaż plik
- Ustaw rozmiar kontekstu (zalecane 512–2048 dla telefonów)
Krok po kroku: LLM Farm (tylko iOS)
LLM Farm to nastawiona na prywatność, otwartoźródłowa aplikacja z precyzyjną kontrolą.
Instalacja: GitHub — LLM Farm lub wyszukaj „LLM Farm” w App Store
Konfiguracja:
- Otwórz LLM Farm → dotknij +, aby dodać model
- Wybierz Download from HuggingFace lub Import from Files
- Zalecany ciąg modelu dla początkujących:
`` https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf ``
- Ustaw Context Size: 2048 (bezpieczne dla telefonów 8GB), 4096 (telefony 12GB+)
- Ustaw Threads: 4–6 (dopasuj do liczby rdzeni CPU)
- Dotknij Save → wybierz model → Chat
Krok po kroku: MLC Chat (Android — najszybszy)
MLC Chat używa akceleracji GPU Vulkan, dzięki czemu jest 2–3x szybszy niż aplikacje tylko-CPU na Androidzie.
Instalacja: GitHub — MLC-LLM Android (APK z wydań GitHub)
Konfiguracja:
- Zainstaluj APK (włącz „Instaluj nieznane aplikacje” w ustawieniach Androida)
- Otwórz MLC Chat → dotknij +, aby przeglądać wbudowane modele
- Wybierz Llama-3.2-3B-Instruct-q4f16_1 (najlepszy dla większości telefonów z Androidem)
- Pobierz model (~2GB) → dotknij, aby załadować → Chat
Dlaczego MLC jest szybszy: MLC prekompiluje modele z TVM do kodu natywnego GPU, używając Twojego GPU Adreno lub Mali przez Vulkan zamiast CPU. Na Snapdragon 8 Elite spodziewaj się 15–25 tokenów/s wobec 8–12 w aplikacjach tylko-CPU.
Wskazówki dla iPhone'a (Neural Engine)
iPhone'y mają dedykowany Neural Engine o mocy do 38 TOPS (A18 Pro). Aplikacje takie jak PocketPal i LLM Farm automatycznie go używają przez framework Core ML firmy Apple:
- Neural Engine jest najskuteczniejszy dla modeli skwantyzowanych (Q4, Q8)
- Dla najlepszej wydajności na iOS: użyj kwantyzacji Q4_K_M
- Zalecane okno kontekstu: 1024–2048 tokenów na iPhone'ach 8GB
- Trzymaj ekran włączony podczas generowania — iOS agresywnie ogranicza aplikacje w tle
- Włącz Tryb wydajności w Ustawieniach iPhone'a → Bateria (jeśli dostępny na Twoim urządzeniu)
Wskazówki dla Androida (Snapdragon Adreno)
Telefony Snapdragon 8 Gen 3 / 8 Elite mają znakomitą akcelerację AI przez NPU Hexagon:
- Użyj MLC Chat do akceleracji GPU Vulkan (najszybsza opcja)
- Użyj PocketPal dla szerszej zgodności modeli
- Włącz Tryb gry lub Tryb wydajności w ustawieniach telefonu podczas wnioskowania
- Trzymaj telefon podłączony do ładowarki przy długich sesjach — ciągłe wnioskowanie AI szybko rozładowuje baterię (~8–12% na godzinę przy pełnym obciążeniu)
- Telefony Samsung Galaxy: użyj Game Booster → dodaj swoją aplikację AI dla priorytetowej alokacji CPU/GPU
Przewodnik po baterii i wydajności
| Telefon | Aplikacja | Model | Szybkość | Zużycie baterii |
|---|---|---|---|---|
| iPhone 16 Pro | PocketPal | Llama 3.2 3B Q4 | ~15 t/s | ~6%/godz |
| iPhone 15 Pro | LLM Farm | Phi-3 Mini Q4 | ~12 t/s | ~8%/godz |
| Samsung S25 Ultra | MLC Chat | Llama 3.2 3B | ~22 t/s | ~10%/godz |
| Pixel 9 Pro XL | PocketPal | Llama 3.2 3B Q4 | ~14 t/s | ~9%/godz |
| OnePlus 13 | MLC Chat | Phi-3 Mini | ~20 t/s | ~10%/godz |
Ograniczenia względem desktopa
Zrozumienie, czego telefony nie potrafią, pomaga ustawić właściwe oczekiwania:
- Okno kontekstu: telefony zwykle ograniczają się do 2k–4k tokenów (desktopy: 8k–128k)
- Rozmiar modelu: praktyczny limit to 4B parametrów na większości telefonów; 7B wymaga 12GB+ RAM i jest bardzo wolny
- Brak fine-tuningu: telefony nie mają dość pamięci na trening — tylko wnioskowanie
- Throttling termiczny: po 15–20 minutach intensywnego generowania telefony ograniczają moc, by chronić temperaturę (spadek szybkości 30–50%)
- Brak multimodalności (na razie): większość aplikacji telefonowych nie obsługuje jeszcze modeli obraz+tekst w 2026 roku
Zastosowania offline, które działają dobrze
- Pomoc w pisaniu — redagowanie e-maili, edycja tekstu, burza mózgów w podróży
- Tłumaczenie języków — tłumaczenie offline z Qwen2.5 (chiński/japoński/koreański) lub wielojęzyczną Llama
- Pomoc w kodowaniu — szybkie fragmenty kodu i debugowanie z Phi-3 Mini lub Qwen2.5 Coder
- Asystent do nauki — wyjaśnianie pojęć, quizy bez wysyłania danych gdziekolwiek
- Prywatny dziennik — AI przetwarzająca Twoje myśli bez żadnego połączenia z chmurą
- AI w trybie samolotowym — działa w pełni offline, bez WiFi ani sieci komórkowej