Twój MacBook jest szybki przez dwie minuty, potem o połowę wolniejszy

tok/s spada o połowę po długim prompcie

Autor Jakub Rusinowski

Błąd

minute 1:   42.6 tok/s
minute 10:  19.8 tok/s     <- same model, same prompt, same machine

1. 1

   Potwierdź, że chodzi o ciepło, a nie o coś innego

   Rozstrzygającym testem jest czas, a nie bezwzględna prędkość. Uruchom ten sam prompt na początku sesji i ponownie po dziesięciu minutach ciągłego generowania, a potem porównaj zgłoszony eval rate. Spadek o mniej więcej połowę w tym oknie to throttling. Powolność obecna już od pierwszego tokenu to inny problem — rozmieszczenie albo pamięć — i należy do innej strony.

   zshKopiuj

   # zsh — same prompt, cold and hot
   ollama run qwen3:8b "Write exactly 200 words about the sea." --verbose
   # ... run continuously for ~10 minutes, then repeat the identical prompt
   ollama run qwen3:8b "Write exactly 200 words about the sea." --verbose

   Czy zadziałało?Eval rate w dziesiątej minucie jest wyraźnie niższy niż w pierwszej na identycznym prompcie. Jeśli oba są równie wolne, to nie jest throttling.
2. 2

   Zmierz bezpośrednio pobór mocy GPU i temperaturę krzemu

   powermetrics pokazuje, co dzieje się naprawdę, a nie jak to się odczuwa. Obserwuj pobór mocy GPU i temperaturę krzemu przez dłuższy przebieg: moc rosnąca do szczytu, a potem osiadająca na wyraźnie niższym plateau, przy temperaturze płaskiej na suficie, to throttling ujęty w jednym wykresie. Próbkuj raz na sekundę i zostaw to uruchomione przez prawdziwe zadanie, a nie przez krótki test.

   zshKopiuj

   # zsh — GPU power and SMC sensors, once a second
   sudo powermetrics --samplers smc,gpu_power -i 1000
   
   # Just the two lines that matter, for 60 samples
   sudo powermetrics --samplers smc,gpu_power -i 1000 -n 60 \
     | grep -E "GPU Power|die temperature"

   Czy zadziałało?Pobór mocy GPU osiada na plateau poniżej wczesnego szczytu, a temperatura krzemu trzyma się płasko przy suficie. Ta para wartości to charakterystyczny podpis.

   zshKopiuj

   sudo powermetrics --samplers smc,gpu_power -i 1000 -n 10 | grep -E "GPU Power|die temperature"

3. 3

   Podłącz zasilanie i wyłącz tryb niskiego poboru mocy

   macOS ogranicza wydajność przy pracy ciągłej na baterii niezależnie od temperatury, więc maszyna potrafi dławić, będąc wciąż chłodną. Tryb niskiego poboru mocy (Ustawienia systemowe → Bateria) robi to samo mocniej i z założenia. Oba da się szybko wykluczyć i oba dają dokładnie ten objaw. Na zasilaniu sieciowym z wyłączonym trybem niskiego poboru mierzysz obudowę, a nie politykę zasilania.

   zshKopiuj

   # zsh — on AC, and is Low Power Mode on?
   pmset -g batt | head -2
   pmset -g | grep -i lowpowermode   # 1 = enabled

   Czy zadziałało?pmset -g batt zgłasza AC Power, a tryb niskiego poboru mocy pokazuje 0. Powtórz porównanie zimno-gorąco, żeby zobaczyć, jaka część spadku była na koncie tych ustawień.

   zshKopiuj

   pmset -g batt | head -2 && pmset -g | grep -i lowpowermode

4. 4

   Daj maszynie gdzie odłożyć ciepło

   Fizyczne i nieefektowne, a odpowiada za realną część różnicy. Trzymaj otwartą klapę — MacBook z zamkniętą klapą w pionowej podstawce traci obudowę jako drogę odprowadzania ciepła. Trzymaj go z dala od miękkich powierzchni: kołdra albo kolana izolują dokładnie te płaszczyzny, którymi maszyna oddaje ciepło, a Air nie ma żadnych innych. Podniesienie go o dwa centymetry na podstawce z przepływem powietrza pod spodem mierzalnie zmienia plateau przy pracy ciągłej na maszynach bez wentylatora.

   Czy zadziałało?Plateau temperatury krzemu w powermetrics jest po zmianie niższe, a plateau tok/s przy pracy ciągłej — wyższe.

   zshKopiuj

   sudo powermetrics --samplers smc -i 1000 -n 10 | grep -i "die temperature"

5. 5

   Skalibruj oczekiwania według obudowy — to nasza charakterystyka, nie pomiar

   Etykieta do tej tabeli: jest to nasza charakterystyka wyprowadzona z fizyki i ze zgłoszeń społeczności, a nie pomiary z naszego zbioru benchmarków. Nasz opublikowany zbiór zawiera niewiele wpisów z jednym kluczem sprzętowym Apple i żadnego wiersza dla obciążenia ciągłego, więc niczego tutaj nie da się uczciwie nazwać zmierzonym. Czytaj to jako oczekiwania, nie jako dane. MacBook Air (bez wentylatora): spodziewaj się największego spadku i najwcześniejszego — często już w pierwszych minutach ciągłego generowania. To dla tej obudowy normalne i nie jest usterką. MacBook Pro 14 i 16 cali: trzyma taktowania znacznie dłużej; umiarkowany spadek na długim przebiegu jest normalny. Mac Studio i Mac mini: przy tym obciążeniu praktycznie bez ograniczeń; duży spadek przy pracy ciągłej warto tu zbadać jako usterkę, a nie przyjąć do wiadomości. Czego nie należy uznawać za normalne na żadnym z nich: spadku w ciągu sekund albo takiego, który utrzymuje się po ostygnięciu i odstawieniu maszyny.

   zshKopiuj

   # zsh — which chassis is this?
   system_profiler SPHardwareDataType | grep -E "Model Name|Chip|Memory"

6. 6

   Przy długich zadaniach przestań walczyć z fizykąNajczęstsze rozwiązanie

   Jeśli twoja praca jest naprawdę ciągła — streszczanie wsadowe, długi przebieg agenta, przetwarzanie korpusu — produktywnym ruchem jest zmniejszenie obciążenia, a nie gonienie za chłodzeniem. Mniejszy model albo krótszy kontekst obniża pracę przypadającą na token, co obniża pobór mocy, co podnosi plateau, na którym osiądziesz. Model o klasę niżej, trzymający swoją prędkość przez godzinę, kończy długie zadanie szybciej niż większy, który po czterech minutach spada o połowę. Ustal, który rozmiar siedzi wygodnie na twojej maszynie, zanim uruchomisz wsad.

   zshKopiuj

   # zsh — compare sustained rates, not the first response
   ollama run qwen3:8b   "Summarise this in 100 words." --verbose
   ollama run llama3.2:3b "Summarise this in 100 words." --verbose

   Czy zadziałało?Mniejszy model po dziesięciu minutach ciągłej pracy nadal zgłasza eval rate bliski otwierającemu. To właśnie to plateau, a nie pierwsza liczba, decyduje o czasie trwania zadania.

   Sprawdź, co pasuje do Twojego sprzętuznajdź rozmiar modelu, który utrzyma prędkość przez długie zadanieOtwórz kalkulator VRAM →