Dlaczego model AI wymyśla fakty i co realnie to ogranicza

To poradnik z własnego podwórka — opisujemy, co u nas zadziałało przy pracy z modelami na firmowych danych. Nie zastąpi testów na Waszym zbiorze.

Model językowy nie ma w środku bazy faktów, do której zagląda przed odpowiedzią. Ma rozkład prawdopodobieństwa kolejnych słów. Zdanie prawdziwe i fałszywe wyglądają dla niego tak samo, o ile oba brzmią naturalnie — dlatego zmyślony numer paragrafu bywa napisany równie pewnym tonem, co prawdziwy. To właściwość mechanizmu, nie usterka konkretnego dostawcy, i żaden z nich nie obiecuje, że da się ją wyłączyć.

Co zmniejsza liczbę zmyśleń

Anthropic w dokumentacji o ograniczaniu halucynacji wymienia kilka rzeczy do zrobienia po stronie polecenia, nie modelu. Wprost pozwolić odpowiedzieć „nie wiem” — bez tego model traktuje brak odpowiedzi jako gorszy wynik niż odpowiedź zgadniętą. Kazać najpierw wyciągnąć dosłowne cytaty z dokumentu, a dopiero potem na nich pracować; dokumentacja radzi to szczególnie przy długich materiałach. Wymagać przypisu do każdego twierdzenia, żeby odpowiedź dało się sprawdzić. Do tego rozumowanie krok po kroku przed wnioskiem oraz uruchomienie tego samego polecenia kilka razy i porównanie wyników — rozjazd między przebiegami sam w sobie jest sygnałem.

Druga warstwa to podanie modelowi materiału zamiast liczenia na jego pamięć. Google opisuje to jako ugruntowanie odpowiedzi w źródłach, OpenAI jako wyszukiwanie w dołączonych plikach. Mechanizm jest w obu przypadkach ten sam: pytanie najpierw trafia do wyszukiwarki po Waszych dokumentach, a model dostaje znalezione fragmenty i ma odpowiedzieć wyłącznie z nich. Zmyślenia nie znikają, ale przestają dotyczyć rzeczy, które w dokumentach stoją napisane.

Czego to nie załatwia

Ta sama dokumentacja Anthropic kończy zastrzeżeniem, że wymienione techniki znacząco ograniczają halucynacje, ale ich nie usuwają. Warto dopisać do tego drugie zastrzeżenie z praktyki: gdy wyszukiwanie poda modelowi zły fragment, dostajecie odpowiedź błędną i opatrzoną przypisem. Taka jest groźniejsza od zwykłego zmyślenia, bo wygląda na sprawdzoną. Jedyny test, który to wychwytuje, jest nudny — otworzyć przypis i przeczytać, czy wskazany fragment mówi to, co odpowiedź twierdzi, że mówi.

Stąd prosta zasada podziału: im większy koszt pomyłki, tym mniej wolno oddać modelowi. Streszczenie korespondencji dla kogoś, kto i tak zaraz otworzy oryginał — spokojnie. Kwota przenoszona do księgowania, termin w umowie, treść idąca do klienta bez czyjegokolwiek spojrzenia — nie, i to niezależnie od tego, jak dobre były ostatnie sto odpowiedzi. Sto trafnych odpowiedzi nie mówi nic o sto pierwszej.

Kiedy to NIE jest problem

Jeżeli model pisze pierwszą wersję czegoś, co i tak przechodzi przez człowieka, temat halucynacji jest akademicki — błąd kosztuje chwilę czytania. Problem zaczyna się dokładnie w miejscu, w którym z procesu znika ten człowiek, bo „przecież działa”. To zwykle jedna decyzja organizacyjna, nie techniczna, i to ona rozstrzyga, czy wdrożenie jest bezpieczne.

Jak wygląda u nas wersja z dokumentami firmy zamiast pamięci modelu, opisujemy przy prywatnej bazie wiedzy i asystencie znającym procedury. Widełki kosztów takich wdrożeń zebraliśmy na stronie o cenach wdrożeń AI.