MLX nie chce się zainstalować albo liczy na CPU

pip nie znajduje mlx albo mlx jest wolniejszy od llama.cpp

Autor Jakub Rusinowski

Błąd

ERROR: Could not find a version that satisfies the requirement mlx (from versions: none)
ERROR: No matching distribution found for mlx

1. 1

   Sprawdź procesor — na tym polega cały ten artykuł

   Jedno polecenie mówi ci, czy masz ten problem. Musi wypisać arm. Jeśli na Macu z serii M wypisuje i386, twój Python to build x86 działający pod Rosettą 2 i wszystko inne z tego wynika. Nic poniżej nie ma sensu, dopóki to nie wypisze arm.

   zshKopiuj

   # zsh
   python3 -c "import platform; print(platform.processor())"
   # arm   -> native, good
   # i386  -> x86 Python under Rosetta, this is your problem
   
   uname -m           # arm64 on Apple Silicon
   sw_vers            # MLX needs macOS >= 14.0
   python3 --version  # MLX needs >= 3.10

   Czy zadziałało?Wypisuje arm, uname -m wypisuje arm64, macOS jest w wersji 14 lub nowszej, a Python w 3.10 lub nowszej. Wszystkie cztery warunki muszą być spełnione.

   zshKopiuj

   python3 -c "import platform; print(platform.processor())"

2. 2

   Znajdź winnego Pythona

   Na maszynie zwykle jest więcej niż jeden interpreter, a ten niewłaściwy stoi pierwszy w twoim PATH. which -a python3 wypisuje je wszystkie po kolei, a file podaje architekturę każdego pliku binarnego wprost. Sama lokalizacja jest już mocną wskazówką: /opt/homebrew to prefiks Homebrew dla arm64, a /usr/local — ten intelowy — więc python3 rozwiązujący się w /usr/local na Macu z serii M jest niemal na pewno winowajcą.

   zshKopiuj

   # zsh — every python3 on PATH, in order
   which -a python3
   
   # What architecture is the one you are getting?
   file $(which python3)
   # ... Mach-O 64-bit executable arm64        <- good
   # ... Mach-O 64-bit executable x86_64       <- the problem
   
   # Is your shell itself running under Rosetta?
   arch

   Czy zadziałało?file zgłasza arm64 dla interpretera, którego naprawdę używasz, a arch wypisuje arm64 dla powłoki.

   zshKopiuj

   file $(which python3) && arch

3. 3

   Sprawdź, czy terminal nie startuje pod Rosettą

   Ustawienie, o którym łatwo zapomnieć i którego nie sposób odgadnąć: w Finderze zaznacz Terminal albo iTerm w /Applications/Utilities, naciśnij Command-I i sprawdź, czy zaznaczone jest „Otwórz przy użyciu Rosetty”. Jeśli tak, każdy proces uruchomiony przez terminal jest x86 — łącznie z Pythonem, który uruchomiony w dowolny inny sposób jest zupełnie natywny. Odznacz, zamknij terminal całkowicie i otwórz ponownie. Ludzie ustawiają to raz dla jakiegoś starego narzędzia i zapominają na lata.

   zshKopiuj

   # zsh — if this prints i386, the shell itself is under Rosetta
   arch
   sysctl -n sysctl.proc_translated   # 1 = running translated

   Czy zadziałało?W świeżo otwartym terminalu arch wypisuje arm64, a sysctl.proc_translated — 0.

   zshKopiuj

   arch; sysctl -n sysctl.proc_translated

4. 4

   Zainstaluj natywnego Pythona arm64 i odbuduj środowisko

   Natywnego interpretera weź z jednego z trzech miejsc: instalatora universal2 z python.org, Homebrew w /opt/homebrew albo miniforge, które jest budowane pod arm64 i jest najprostszą drogą, gdy korzystasz z condy. Potem utwórz środowisko wirtualne od nowa, zamiast używać starego — istniejący venv zapamiętuje interpreter, który go stworzył, i będzie dalej używał tego x86, niezależnie od tego, jakiego Pythona zainstalowałeś od tamtej pory. To ten krok, który ludzie pomijają, i przez niego rozwiązanie sprawia wrażenie niedziałającego.

   Uwaga: Usunięcie i odtworzenie venva kasuje wszystko, co było w nim zainstalowane. Wyeksportuj najpierw swoje wymagania, jeśli nigdzie ich nie przypiąłeś.

   zshKopiuj

   # zsh — arm64 Homebrew Python
   /opt/homebrew/bin/brew install python@3.12
   
   # Recreate the venv with the NATIVE interpreter — do not reuse the old one
   pip freeze > /tmp/requirements.txt
   deactivate 2>/dev/null; rm -rf .venv
   /opt/homebrew/bin/python3.12 -m venv .venv
   source .venv/bin/activate
   python -c "import platform; print(platform.processor())"   # must print: arm
   
   pip install --upgrade pip
   pip install mlx mlx-lm

   Czy zadziałało?W nowym venvie sprawdzenie procesora wypisuje arm, a instalacja dochodzi do końca, zamiast zgłaszać brak pasującej dystrybucji.

   zshKopiuj

   python -c "import mlx.core as mx; print(mx.default_device())"

5. 5

   Potwierdź, że MLX naprawdę korzysta z GPU

   Udana instalacja nie jest dowodem, że praca ląduje na GPU. mx.default_device() powinno zgłaszać urządzenie GPU. Uruchom krótkie generowanie i obserwuj Monitor aktywności → Okno → Historia GPU albo powermetrics z próbnikiem GPU — powinieneś zobaczyć rosnącą aktywność karty przez cały ten czas. Jeśli urządzenie jest właściwe, a wykres GPU pozostaje płaski, zadanie nie dociera do Metala.

   zshKopiuj

   # zsh — what device does MLX think it has?
   python -c "import mlx.core as mx; print(mx.default_device())"
   
   # A short generation to watch
   python -m mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit \
     --prompt "Write one sentence about the sea." --max-tokens 64
   
   # In a second terminal, watch GPU power while it runs
   sudo powermetrics --samplers gpu_power -i 1000 -n 10

   Czy zadziałało?Pobór mocy GPU wyraźnie rośnie w trakcie generowania i opada po nim. Płaski przebieg oznacza, że praca nie idzie na GPU.

   zshKopiuj

   sudo powermetrics --samplers gpu_power -i 1000 -n 5 | grep -i "GPU Power"

6. 6

   Rozstrzygnij, czy MLX jest tu w ogóle właściwym narzędziemNajczęstsze rozwiązanie

   Czytelnicy przychodzą z założeniem, że MLX jest na Macu bezwzględnie szybszy od llama.cpp, a w różnych rodzinach modeli wcale nie jest to niezawodnie prawdą. MLX dobrze pasuje, gdy chcesz robić fine-tuning na Macu, pracować w Pythonie i w kodzie o kształcie NumPy-owym albo używać modelu opublikowanego przez społeczność w formacie MLX. llama.cpp i Ollama są lepszym domyślnym wyborem, gdy zależy ci na najszerszym wyborze GGUF-ów, na serwerze albo po prostu na najmniejszej ilości konfiguracji. Zamiast zakładać, przetestuj konkretny model, na którym ci zależy, na obu — a jeśli między tobą a MLX stoi budowanie ze źródeł, pamiętaj, że potrzebuje ono Xcode 15+, macOS SDK 14+, Clang 15+ i CMake 3.25+, a same Command Line Tools nie wystarczą.

   zshKopiuj

   # zsh — the source-build prerequisites, if you need one
   xcodebuild -version              # Xcode >= 15.0
   xcrun --show-sdk-version         # SDK >= 14.0
   cmake --version                  # >= 3.25
   clang --version                  # >= 15

   Sprawdź, co pasuje do Twojego sprzętusprawdź, jakie rozmiary modeli pasują do twojego Maca, zanim wybierzesz frameworkOtwórz kalkulator VRAM →