Dlaczego lepszy prompt nie naprawia asystenta AI

To poradnik z własnego podwórka — opisujemy, jak sami diagnozujemy takie przypadki. Nie zastąpi testów na Waszych danych.

Typowy przebieg jest taki: asystent działa świetnie przez pierwsze pięć wiadomości, potem zaczyna mijać się z pytaniem, więc ktoś dopisuje do polecenia kolejne zdanie „pamiętaj, żeby…”. Po miesiącu polecenie ma trzy strony, a odpowiedzi są gorsze niż na początku. To nie jest problem sformułowania. To problem tego, co model ma przed sobą w momencie odpowiadania.

AIBild genererad av AI.

Model widzi tylko okno, nie całą rozmowę

Model nie ma pamięci między wywołaniami. Za każdym razem dostaje jeden pakiet tekstu — polecenie systemowe, historię rozmowy, dołączone dokumenty, wyniki narzędzi — i odpowiada wyłącznie na jego podstawie. Ten pakiet ma skończony rozmiar, opisywany jako okno kontekstu. Gdy rozmowa rośnie, starsze fragmenty trzeba z tego pakietu usuwać albo streszczać, żeby zmieścić nowe; dostawcy udostępniają na to osobne mechanizmy zarządzania kontekstem. Efekt, który widzicie jako „asystent zapomniał ustaleń”, to zwykle po prostu ustalenie, które wypadło z pakietu.

Dłuższe polecenie pogarsza ten problem podwójnie. Zajmuje miejsce, które mogłoby przypaść dokumentom, a jednocześnie rozcieńcza to, co naprawdę ważne, w masie zastrzeżeń dopisywanych po każdej wpadce. Poradnik OpenAI o formułowaniu poleceń idzie w przeciwną stronę niż odruch większości zespołów: konkretnie, krótko, z przykładem, zamiast dłuższej listy przykazań.

Trzy pytania zamiast przepisywania polecenia

Czy odpowiedź w ogóle miała się skąd wziąć. Jeśli informacja nie znalazła się w pakiecie, żadne polecenie jej tam nie wstawi. To najczęstsza przyczyna i najłatwiejsza do sprawdzenia: wypiszcie, co dokładnie poszło do modelu przy tym jednym zapytaniu. Czy wyszukiwanie podało właściwy fragment. Przy asystencie opartym o dokumenty firmy zła odpowiedź zwykle znaczy, że wyszukiwarka podała nie ten kawałek — a to strojenie wyszukiwania, nie polecenia. Czy zadanie nie jest w rzeczywistości trzema zadaniami. Jedno wywołanie, które ma naraz sklasyfikować, wyszukać i sformułować odpowiedź, wypada gorzej niż trzy proste kroki po kolei.

AIBild genererad av AI.

Praktyczny nawyk, który oszczędza najwięcej czasu: zapisujcie pełny pakiet wysłany do modelu przy każdej złej odpowiedzi. Bez tego zapisu debugowanie polega na zgadywaniu i kończy się dopisaniem kolejnego zdania do polecenia. Z tym zapisem w większości przypadków od razu widać, że w pakiecie nie było czego trzeba — i wtedy wiadomo, co naprawiać.

Kiedy prompt jednak jest problemem

Wtedy, gdy odpowiedzi są merytorycznie trafne, ale mają zły format, zły ton albo za dużo lania wody. To są usterki polecenia i poprawia się je poleceniem — najlepiej przez podanie jednego dobrego przykładu zamiast opisu słowami. Rozróżnienie jest proste: zła treść to zwykle kontekst, zła forma to zwykle prompt.

AIBild genererad av AI.

Jak budujemy asystentów, którzy odpowiadają z dokumentów firmy zamiast z pamięci modelu, opisujemy przy prywatnej bazie wiedzy. Widełki kosztów są na stronie o cenach wdrożeń AI.