Lokalny LLM na Macu, iPhonie i iPadzie — rozwiązywanie problemów

Sprzęt Apple potyka się o lokalną AI przede wszystkim na jednym: na pamięci. Nie ma tu osobnego VRAM-u, który mógłby się skończyć, więc nic ci nie powie, że poprosiłeś o za dużo. Na Macu żądanie po prostu przechodzi, a macOS zaczyna zrzucać wielogigabajtowy zestaw roboczy na SSD — co wygląda dokładnie jak zawieszenie. Na iPhonie swapu nie ma w ogóle, więc iOS ubija aplikację w chwili przekroczenia limitu. A ponieważ to nie awaria, tylko ubicie przez jetsam, nie zobaczysz żadnego komunikatu — po prostu ekran główny.

Drugi problem typowy dla Apple to podpisywanie kodu. Większość narzędzi do lokalnej AI to małe projekty open-source bez drogiego certyfikatu, więc Gatekeeper przedstawia je jako uszkodzone, choć są jedynie niepodpisane. Rozwiązania są bezpieczne, jeśli najpierw zweryfikujesz pobrany plik, i lekkomyślne, jeśli tego nie zrobisz — każda strona w tym dziale, która sięga po xattr, mówi to wprost.

Reszta to przypadki węższe, ale kosztowne, gdy trzeba ich szukać po omacku: limit zestawu roboczego Metala, który odcina GPU od jednej trzeciej pamięci; Python w wersji x86 działający pod Rosettą, przez którego MLX odmawia instalacji; oraz throttling przy długim obciążeniu, potrafiący po dziesięciu minutach zmniejszyć liczbę tokenów na sekundę o połowę. Dwie ostatnie strony dotyczą konkretnie iPhone'a i iPada.