RAG or fine-tuning LLM in a week, before you spend 15,000 PLN

Bierz to jak bezpłatny poradnik od praktyków: dobry na start i do rozmowy w zespole, za cienki jako jedyna podstawa poważnej decyzji. Poniedziałek rano, firma prawnicza na 180 osób, w archiwum 900 tysięcy umów i opinii. Dostawca chmurowy pokazuje ofertę: dotrenujemy LLM pod waszą terminologię, start od 15 tysięcy złotych. Zanim ktokolwiek zatwierdzi budżet, jest tydzień pracy wewnętrznej, który pokaże, czy w ogóle jest sens zmieniać wagi modelu, zamiast po prostu lepiej szukać.

AIAI-generated image.

Dotrenowanie nie jest zapamiętywaniem dokumentów. Trening zmienia wagi modelu, więc system zaczyna inaczej dobierać styl i format, ale fakty nadal musi pobierać z zewnątrz. Jeżeli ponad 90% zadań to wyszukanie ustępu, cytowanie i podsumowanie istniejącego tekstu, zwykle wystarcza RAG — model dostaje dokument w kontekście i wskazuje źródło. Podstawę przetwarzania danych osobowych opisuje RODO, a obowiązki dokumentacyjne dla systemów wysokiego ryzyka AI Act.

What you can do this week

Po pierwsze — wybierz jeden powtarzalny proces, w którym liczy się format, a nie wyszukiwanie: wstępna wersja aneksu, miesięczny raport z audytu, opis techniczny oferty. To zajmie 2 godziny dyrektorowi departamentu. Po drugie — zbierz 80 par instrukcja–odpowiedź z ostatnich trzech miesięcy, bez danych osobowych; 6 godzin pracy jednego analityka. Po trzecie — przygotuj 20 przypadków testowych i prostą rubrykę: zgodność formatu, poprawność źródła, czas korekty; 2 godziny specjalisty QA. Po czwarte — uruchom bazowy RAG na tych 20 przypadkach, używając istniejącej bazy dokumentów i darmowego silnika wektorowego; 8 godzin inżyniera IT. Po piąte — policz tokeny z 80 par i przeskaluj koszt QLoRA oraz API do 500 par; 1 godzina CTO. Łącznie 19 godzin pracy, 0 zł nowego budżetu.

What to avoid doing right away

Pierwszy odruch to wysłać całe archiwum do API w celu dotrenowania. To zwykle błąd: dane osobowe i tajemnica przedsiębiorstwa trafiają do zewnętrznego systemu, a po treningu usunięcie pojedynczych rekordów z wag jest technicznie trudne — przy danych osobowych często trzeba przejść przez ocenę skutków, którą opisuje UODO. Fine-tuning nie jest pamięcią faktograficzną: model po dotrenowaniu nadal może zmyślać fakty, tylko w waszym stylu. Karta A100 przed testem RAG to przedwczesny wydatek, a ciągły koszt utrzymania wersji modelu bywa wyższy niż samo GPU. Obietnica, że model „pozna dokumenty”, prowadzi do rozczarowania, bo to zadanie bazy wektorowej. Start od 50 tysięcy przykładów zanim 500 par przejdzie walidację generuje dług w danych, a nie przewagę.

AIAI-generated image.

How to verify it works after two weeks

Po dwóch tygodniach testów RAG na 20 dokumentach licz jeden wskaźnik: odsetek dokumentów, które przechodzą bez korekty merytorycznej. Jeśli wynik wynosi 80% lub więcej i każda odpowiedź ma poprawne źródło, dotrenowanie nie ma na razie uzasadnienia — problem rozwiązał retrieval, a nie nowy model. Jeżeli wskaźnik spada poniżej 60%, to sygnał, że przyczyna leży w danych, nie w architekturze; wtedy zamiast trenować dalej, wraca się do czyszczenia bazy i ujednoznaczniania dokumentów.

Jeśli po teście okaże się, że RAG wystarcza, HEXART pomaga zbudować bazę wektorową i obieg dokumentów z cytowaniem źródeł. Jeśli próg przejdzie na stronę dotrenowania, przygotowujemy zbiór treningowy, wersjonowanie metryk i paczkę ewaluacyjną, żeby zmiana modelu bazowego nie wywróciła wdrożenia. Zakres usług znajdziesz na hexart.pl.