Czy powinieneś trenować własny model? Zazwyczaj odpowiedź brzmi: nie.
Inżynieria promptów (kontekst)
Najlepsza do: przekazywania modelowi nowych informacji (RAG) lub instrukcji.
- Zalety: natychmiastowa, darmowa, elastyczna.
- Wady: ograniczona rozmiarem okna kontekstu.
Fine-tuning (trening)
Najlepszy do: zmiany zachowania lub stylu modelu.
- Przykład: sprawienie, by model na stałe mówił jak pirat.
- Przykład: nauczenie modelu nowego formatu klasyfikacji medycznej.
- Zalety: trwała zmiana zachowania, brak potrzeby długich promptów.
- Wady: kosztowny (wymaga czasu GPU), trudny do prawidłowego wykonania, może powodować „katastrofalne zapominanie”.
Werdykt
Najpierw wypróbuj RAG (Retrieval Augmented Generation). Rób fine-tuning tylko wtedy, gdy RAG nie oddaje potrzebnego Ci konkretnego stylu lub formatu.