Kompletny przewodnik po lokalnych LLM dla początkujących (2026)

Autor: Jakub RusinowskiOstatnia aktualizacja 12 min czytaniaPodstawowy

Ostatnia aktualizacja: maj 2026 — Słyszałeś o ChatGPT i Claude. Teraz chcesz uruchomić AI prywatnie na własnym komputerze. Ten przewodnik przeprowadzi Cię przez wszystko od zera — bez wymaganego doświadczenia.

Czym jest lokalny model LLM?

Lokalny model LLM (duży model językowy) to AI działające w całości na Twoim własnym sprzęcie — bez internetu, bez opłat abonamentowych, bez wysyłania danych na serwery. To ta sama technologia co ChatGPT, ale działająca prywatnie na Twoim PC lub Macu.

Dlaczego uruchamiać lokalnie?

  • Prywatność: Twoje rozmowy nigdy nie opuszczają Twojego komputera. Domyślnie zgodne z RODO.
  • Koszt: poza sprzętem wnioskowanie jest darmowe. Żadnych abonamentów za 20 USD/mies. ani rachunków za API.
  • Kontrola: modyfikuj zachowanie, używaj dowolnego modelu, bez ograniczeń treści.
  • Szybkość: brak limitów zapytań, brak kolejki, natychmiastowe odpowiedzi.
  • Niezawodność: działa offline, brak awarii usług, brak przestojów API.

Lokalna AI w 2026 roku jest naprawdę dobra. Nowoczesne modele 8B działające na karcie GPU za 300 USD konkurują z GPT-3.5-Turbo, a modele 70B na zestawie za 1600 USD dorównują jakości klasy GPT-4 w większości zadań.

Jakiego sprzętu potrzebujesz?

Krótka odpowiedź: prawdopodobnie masz już wystarczająco dużo, aby zacząć.

SprzętCo uruchomiszWrażenia
Dowolny PC z 8 GB RAM (bez GPU)TinyLlama, Phi-3.5 MiniDziała, ale wolno (~2–5 t/s)
PC z GPU 4 GB VRAMPhi-3.5 Mini, Gemma 3 4BDobra szybkość (~20–30 t/s)
PC z 8 GB VRAM (RTX 3070/4060)Llama 3.1 8B, Gemma 3 12BZnakomicie (~50–70 t/s)
PC z 16 GB VRAM (RTX 4060 Ti)Qwen 2.5 14B, Gemma 3 27BŚwietnie (~40–60 t/s)
PC z 24 GB VRAM (RTX 4090)Llama 3.3 70B Q4, Llama 4 MaverickKlasa flagowa (~30–50 t/s)
MacBook Air M2/M3 16GBLlama 3.1 8B, Gemma 3 12BZnakomicie — zoptymalizowane pod Apple Silicon
Mac z 32GB+ pamięci zunifikowanejDeepSeek R1 32B, Gemma 3 27BWybitnie
Mac Studio M4 Max 128GBLlama 3.3 70B, DeepSeek R1 671BKlasa profesjonalna

Nie wiesz, jaką masz kartę GPU? Użyj narzędzia sprawdzania sprzętu →

Kluczowe pojęcie: VRAM

VRAM (pamięć karty graficznej) to pamięć na Twojej karcie graficznej. To ona ogranicza, które modele AI uruchomisz z pełną szybkością.

Pomyśl o tym tak: wagi modelu są jak książka — cała książka musi zmieścić się w VRAM, aby AI mogła ją „czytać” z pełną szybkością. Jeśli się nie mieści, model przelewa się do zwykłej pamięci systemowej, która jest 10–50× wolniejsza.

  • 8 GB VRAM → wygodnie uruchamiasz modele 7–9B
  • 12–16 GB VRAM → modele 12–27B
  • 24 GB VRAM → modele 32–70B (skwantyzowane)
  • Apple Silicon → cały RAM liczy się jako VRAM (Mac 16 GB = ~11–12 GB efektywnie dla AI)

Krok 1: Zainstaluj Ollama (5 minut)

Ollama to najłatwiejszy sposób na uruchamianie lokalnych modeli LLM. Jest darmowa, otwartoźródłowa i działa na Windows, Mac i Linux. Pomyśl o niej jak o „sklepie z aplikacjami + środowisku uruchomieniowym” dla lokalnych modeli AI.

Windows

Jeśli instalator wywoła alarm Microsoft Defender SmartScreen albo terminal potem nie znajdzie polecenia ollama, jedno i drugie jest na Windowsie normalne i jedno i drugie ma wąskie rozwiązanie — zobacz dlaczego SmartScreen blokuje niepodpisane instalatory AI i „ollama is not recognized”.

  1. Wejdź na ollama.com/download i kliknij Download for Windows
  2. Uruchom instalator .exe (nie wymaga uprawnień administratora)
  3. Ollama instaluje się po cichu i pojawia w zasobniku systemowym

macOS

macOS potrafi zgłosić pobraną aplikację jako uszkodzoną, choć jest ona jedynie niepodpisana; Gatekeeper a narzędzia lokalnej AI tłumaczy, jak zweryfikować kompilację i bezpiecznie ją otworzyć.

  1. Wejdź na ollama.com/download i kliknij Download for macOS
  2. Otwórz pobrany plik .zip i przeciągnij Ollama do folderu Aplikacje
  3. Otwórz Ollama — zatwierdź ewentualne monity bezpieczeństwa w Ustawieniach systemowych → Prywatność i ochrona

Linux

bash
curl -fsSL https://ollama.com/install.sh | sh

Zweryfikuj instalację:

bash
ollama --version
# Should output: ollama version 0.x.x

Krok 2: Pobierz i uruchom pierwszy model

Otwórz terminal (Mac/Linux) lub PowerShell (Windows). Wybierz właściwy model do swojego sprzętu:

Dla 8 GB VRAM lub 16 GB Apple Silicon — najlepszy model na start:

bash
ollama run llama3.1

Dla starszego/słabszego sprzętu (4 GB VRAM lub mniej):

bash
ollama run gemma3:4b

Dla 16 GB+ VRAM — wypróbuj większy model:

bash
ollama run gemma3:27b

Dla zaawansowanego rozumowania (jeśli masz 20 GB+ VRAM):

bash
ollama run deepseek-r1:32b

Ollama pobierze model (4–20 GB w zależności od rozmiaru) i przeniesie Cię do znaku zachęty czatu (>>>). Wpisz wiadomość i naciśnij Enter.

Niezbędne polecenia Ollama

bash
ollama list              # See all downloaded models
ollama pull llama3.1     # Download model without starting chat
ollama rm llama3.1       # Delete a model to free disk space
ollama ps                # See which models are currently running
ollama serve             # Start the Ollama API server manually

Krok 3: Wybierz interfejs czatu

Terminal działa, ale większość użytkowników woli interfejs webowy. Oto Twoje opcje:

Opcja A: Open WebUI (zalecane dla większości)

Interfejs w stylu ChatGPT, który łączy się z Ollama. Wymaga Dockera:

bash
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Następnie otwórz http://localhost:3000. Funkcje: historia czatu, przesyłanie plików, analiza obrazów, wprowadzanie głosowe.

Opcja B: LM Studio (najłatwiejsze, bez Dockera)

Pobierz na lmstudio.ai. Samodzielna aplikacja z wbudowaną przeglądarką modeli i interfejsem czatu. Najlepsza dla użytkowników nietechnicznych.

Opcja C: Jan (najpierw offline)

Pobierz na jan.ai. Działa całkowicie offline, otwartoźródłowa, nastawiona na prywatność.

Krok 4: Dobierz właściwy model do zadania

Różne modele sprawdzają się w różnych zadaniach:

ZadanieNajlepszy model (8 GB VRAM)Najlepszy model (24 GB VRAM)
Rozmowa ogólnaLlama 3.1 8BLlama 3.3 70B
KodowanieQwen 2.5-Coder 7BDeepSeek R1 32B
Pisanie i streszczanieGemma 3 12BGemma 3 27B
Rozumowanie i matematykaDeepSeek R1 8BDeepSeek R1 32B
Najszybsze odpowiedziGemma 3 4BQwen 2.5 14B
Rozumienie obrazówLlama 3.2 Vision 11BGemma 3 27B Vision

→ Przeglądaj wszystkie modele →, aby porównać specyfikacje, benchmarki i rozmiary pobierania.

Zrozumienie nazw modeli

Gdy widzisz nazwy modeli takie jak „Llama 3.1 8B Q4_K_M”, oto co oznaczają:

  • Llama 3.1 — rodzina i wersja modelu
  • 8B — 8 miliardów parametrów (większy = mądrzejszy, ale wymaga więcej VRAM)
  • Q4_K_M — poziom kwantyzacji (skompresowana wersja modelu)

Kwantyzacja — szybka ściąga:

  • FP16: pełna jakość, 2× VRAM — tylko dla dużych kart GPU
  • Q8_0: niemal idealna jakość, 1× VRAM — świetne, jeśli masz dość VRAM
  • Q4_K_M: złoty środek — 5% utraty jakości, 0,5× VRAM — używaj domyślnie
  • Q2_K: zauważalny spadek jakości — tylko dla bardzo ograniczonego sprzętu

Rozwiązywanie typowych problemów

„Error: model not found”

bash
# Check the exact model name at ollama.com/library
ollama pull llama3.1:8b   # Specify exact variant

Bardzo wolne odpowiedzi (2–5 tokenów/sekundę) Twój model prawdopodobnie działa na CPU zamiast na GPU. Sprawdź:

bash
ollama ps   # Shows which layers are on GPU vs CPU

Jeśli większość warstw jest na CPU, model nie mieści się w VRAM — wybierz mniejszy/bardziej skwantyzowany model.

Błąd „Out of memory” Zmniejsz długość kontekstu lub przełącz się na bardziej skwantyzowany model (Q4 zamiast Q8).

Ollama się nie łączy (na Windows) Sprawdź zasobnik systemowy — Ollama powinna być widoczna jako uruchomiona. Jeśli nie:

bash
# Restart the Ollama service
ollama serve

GPU niewykryte na Linuksie

bash
# NVIDIA: check CUDA driver
nvidia-smi

# AMD: check ROCm
rocm-smi

Kluczowy słowniczek

  • VRAM: pamięć karty graficznej. Więcej = większe modele, szybsze wnioskowanie.
  • Parametry (7B, 13B, 70B): rozmiar modelu w miliardach. Więcej parametrów = mądrzejszy, ale wymaga więcej VRAM.
  • Kwantyzacja (Q4, Q8): poziom kompresji. Q4 = mniejszy/szybszy. Q8 = wyższa jakość.
  • Tokeny: jednostki tekstu (z grubsza 1 token ≈ 0,75 słowa). Modele naliczają opłaty za token lub generują tokeny na sekundę.
  • Okno kontekstu: ile tekstu model potrafi „zapamiętać” naraz (4k = 3000 słów; 128k = długość książki).
  • GGUF: format plików używany przez Ollama i llama.cpp dla modeli skwantyzowanych.
  • Wnioskowanie: proces uruchamiania modelu w celu wygenerowania odpowiedzi (w odróżnieniu od treningu, który tworzy model).
  • MoE: Mixture of Experts — architektura modelu, w której na jeden token aktywuje się tylko część parametrów.

Co właściwie możesz robić z lokalną AI?

Oto realne zadania, do których ludzie codziennie używają lokalnych modeli LLM:

Pisanie i redagowanie:

  • Redagowanie e-maili, raportów, artykułów
  • Korekta i ulepszanie tekstu
  • Tłumaczenie dokumentów

Kodowanie:

  • Wyjaśnianie kodu i debugowanie błędów
  • Generowanie funkcji z opisu
  • Recenzowanie pull requestów
  • Pisanie testów

Badania:

  • Streszczanie długich dokumentów
  • Wyciąganie kluczowych informacji z plików PDF
  • Odpowiadanie na pytania o przesłane pliki (z RAG)

Produktywność osobista:

  • Streszczanie notatek ze spotkań
  • Generowanie list zadań z mglistych pomysłów
  • Burza mózgów i pomysły
  • Planowanie projektów

Zadania wrażliwe na prywatność (tu lokalna AI błyszczy):

  • Prywatna analiza dokumentów medycznych
  • Recenzowanie umów prawnych bez udostępniania ich do chmury
  • Wewnętrzne przetwarzanie danych finansowych
  • Obsługa poufnych informacji HR lub klienckich

Najczęściej zadawane pytania

Czy lokalna AI jest tak dobra jak ChatGPT? W większości codziennych zadań — tak. Nowoczesne modele 8B dorównują GPT-3.5 lub go przewyższają. Modele 70B konkurują z GPT-4o w wielu benchmarkach. Różnica dramatycznie się zmniejszyła w latach 2025–2026.

Ile kosztuje uruchomienie? Po początkowym zakupie sprzętu jedynym stałym kosztem jest prąd — zwykle 5–30 USD/mies. w zależności od użycia i sprzętu. Bez opłat abonamentowych.

Czy potrzebuję komputera do gier? Każdy PC z dedykowaną kartą GPU (nawet starszy GTX 1080 z 8 GB VRAM) uruchomi użyteczne modele. Karty do gier (serie RTX, RX) są idealne, bo mają pamięć GDDR6 zoptymalizowaną pod tego typu obliczenia.

Czy mogę uruchomić lokalną AI na laptopie? Tak — MacBooki z Apple Silicon (M1/M2/M3/M4) są znakomite do lokalnej AI dzięki pamięci zunifikowanej. Laptopy z Windows z dedykowanym GPU (RTX 4060 8GB) też działają dobrze. Grafika zintegrowana działa, ale bardzo wolno.

Czy moje dane są rzeczywiście prywatne? Tak. Gdy używasz Ollama z lokalnie działającym modelem, całe przetwarzanie odbywa się na Twoim własnym sprzęcie. Żadne dane nie są nigdzie wysyłane. Nawet telemetria (chyba że sam ją włączysz). To zasadnicza różnica względem wszystkich usług AI w chmurze.

Jak często aktualizować modele? Sprawdzaj nowe wydania modeli co miesiąc — ta dziedzina rozwija się szybko. Model wydany 3 miesiące temu może już mieć znacznie lepszego następcę.

Twoje kolejne kroki

  1. Sprawdź swój sprzęt → — dowiedz się dokładnie, które modele uruchomi Twój PC
  2. Przeglądaj wszystkie modele → — poznaj 35+ lokalnych modeli LLM ze specyfikacją i benchmarkami
  3. Oblicz oszczędności → — zobacz, ile oszczędzasz względem ChatGPT lub Claude API
  4. Przewodnik po wymaganiach VRAM → — pogłębiona matematyka VRAM
  5. Ollama vs LM Studio vs Jan → — wybierz właściwe narzędzie do swojego przepływu pracy
Następny →Instalacja Ollama