Lokalne modele LLM na Macu z Intelem — co naprawdę działa

LM Studio nie chce się zainstalować na moim MacBooku Pro z 2019 roku

Autor Jakub Rusinowski

Błąd

LM Studio system requirements: Apple Silicon Mac (M1/M2/M3/M4), macOS 14.0 or newer.
Intel Macs are not supported.

1. 1

   Ustal, jakiego Maca faktycznie masz

   Zanim cokolwiek innego, rozstrzygnij kwestię architektury — Rosetta 2 czyni to mniej oczywistym, niż powinno być, bo terminal zbudowany pod Intela na Macu z serii M również zgłasza x86_64. uname -m w natywnym terminalu plus linia z układem z system_profiler dają ci prawdę.

   zshKopiuj

   # zsh
   uname -m                    # arm64 = Apple Silicon, x86_64 = Intel
   sysctl -n machdep.cpu.brand_string
   system_profiler SPHardwareDataType | grep -E "Model Name|Chip|Processor|Memory"
   sw_vers                     # your macOS version

   Czy zadziałało?Linia Processor z nazwą układu Intel Core to potwierdzenie. Jeśli widzisz linię Chip z układem z serii M, to nie ta strona — właściwe są poradniki o MLX i o swapowaniu.
2. 2

   Używaj narzędzi, które wciąż obsługują Intela

   Ollama nadal działa na Makach z Intelem, na procesorze, i pozostaje najprostszą drogą — sama zajmuje się katalogiem modeli i pętlą czatu, bez budowania czegokolwiek. llama.cpp buduje się i działa ze źródeł, dając ci większą kontrolę nad wątkami i kontekstem. Metal jest w llama.cpp na macOS włączony domyślnie; na Macu z Intelem możesz chcieć go wyłączyć, bo ścieżka procesorowa bywa tu szybsza z tych dwóch — robi to -DGGML_METAL=OFF na etapie konfiguracji. Przetestuj oba, zanim się zdecydujesz.

   zshKopiuj

   # zsh — Ollama, CPU inference
   brew install ollama
   ollama run llama3.2:3b
   
   # llama.cpp from source, CPU-only build
   git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
   cmake -B build -DGGML_METAL=OFF
   cmake --build build --config Release -j
   ./build/bin/llama-cli -m model.gguf -p "hello" -t 8

   Czy zadziałało?Model 3B odpowiada. Zmierz czas ustalonego promptu na obu buildach, żeby zobaczyć, czy Metal na twojej konkretnej maszynie pomaga, czy szkodzi.

   zshKopiuj

   ollama run llama3.2:3b "Write one sentence about the sea." --verbose

3. 3

   Dobierz model do prędkości procesora, a nie do swojego RAM-u

   Na Macu z Intelem ogranicznikiem jest przepustowość, a nie pojemność — co odwraca zwykłą radę. Realnym pasmem jest 3B do 8B w Q4, a realną prędkością kilka tokenów na sekundę. 16-calówka z 2019 roku z 32 GB uruchomi model 8B na tyle sprawnie, że da się na nim rozmawiać — wolniej, niż byś chciał, ale wystarczająco szybko, by był użyteczny — i nie uruchomi modelu 70B w żadnym sensownym rozumieniu, choćby miała nie wiadomo ile pamięci. Zacznij od 3B, sprawdź, czy prędkość jest znośna, i wchodź wyżej tylko wtedy, gdy jest.

   zshKopiuj

   # zsh — start small and measure
   ollama run llama3.2:3b --verbose   # note eval rate in tokens/s
   ollama run llama3.1:8b --verbose   # compare
   
   # llama.cpp: match threads to physical cores, not logical
   sysctl -n hw.physicalcpu
   ./build/bin/llama-cli -m model.gguf -t $(sysctl -n hw.physicalcpu)

   Czy zadziałało?Zgłoszony eval rate jest liczbą, z którą da się żyć przy twojej rzeczywistej pracy. Jeśli model 3B jest już za wolny, większy nie stanie się akceptowalny.
4. 4

   Nie licz, że dedykowany Radeon cię uratuje

   15- i 16-calowe MacBooki Pro z Intelem przychodziły z dedykowaną grafiką AMD i rozsądnie jest założyć, że to pomaga. W praktyce te układy mają po kilka gigabajtów własnej pamięci i przepustowość znacznie poniżej tego, co daje nowoczesna karta do wnioskowania, a ekosystem ROCm nie obejmuje macOS w ogóle. Metal potrafi do nich sięgnąć, ale wynik ląduje w tej samej okolicy wydajnościowej co procesor. Przetestuj, jeśli chcesz — tylko skalibruj oczekiwania, zanim spędzisz na tym wieczór.

   zshKopiuj

   # zsh — what graphics does this machine actually have?
   system_profiler SPDisplaysDataType | grep -E "Chipset|VRAM|Vendor"

5. 5

   Zmniejsz kontekst i trzymaj prompty krótko

   Wnioskowanie na CPU boleśnie uwidacznia przetwarzanie promptu: długi dokument jest odczytywany z prędkością procesora, zanim wróci choć jeden token. Skrócenie długości kontekstu zmniejsza i zajętość pamięci, i czas oczekiwania na żądanie, a na tej klasie maszyn to niemal zawsze opłacalna wymiana. Domyślna wartość w Ollamie to 4096; rzadko jest tu powód, żeby ją podnosić.

   zshKopiuj

   # zsh — keep the window modest on CPU
   OLLAMA_CONTEXT_LENGTH=2048 ollama run llama3.2:3b

   Czy zadziałało?Czas do pierwszego tokenu przy długim prompcie zauważalnie spada. To właśnie ta liczba, a nie tokeny na sekundę, zwykle sprawia, że wnioskowanie na CPU wydaje się nie do użycia.
6. 6

   Powiedzmy wprost o trzech realnych opcjachNajczęstsze rozwiązanie

   Nie ma konfiguracji, która uczyni Maca z Intelem szybkim w tym zadaniu, więc uczciwy wybór sprowadza się do trzech rzeczy. Pogodzić się z prędkością procesora przy modelu 3–8B, co naprawdę wystarcza do czatu, redagowania i lekkiej pomocy przy kodzie. Wynająć czas GPU na godziny, co jest właściwą odpowiedzią przy sporadycznej cięższej pracy — kilka godzin miesięcznie na wynajętej karcie kosztuje mniej niż maszyna i daje sprzęt, którego za tę cenę byś nie kupił. Albo przejść na Apple Silicon, gdzie nawet podstawowa maszyna z serii M całkowicie odmienia to zadanie. Koszt jest rzeczą do policzenia przed decyzją, a nie po niej.

   Sprawdź, co pasuje do Twojego sprzętusprawdź, które małe modele pozostają używalne przy prędkościach procesoraOtwórz kalkulator VRAM →