Business en implementaties20:00
Dlaczego lepszy prompt nie naprawia asystenta AI
Kiedy asystent odpowiada nie na temat, pierwszym odruchem jest przepisanie polecenia. Zwykle nie o to chodzi — problem leży w tym, co model w danej chwili w ogóle widzi. Jak to rozpoznać, zanim przepiszecie prompt po raz dziesiąty.
To poradnik z własnego podwórka — opisujemy, jak sami diagnozujemy takie przypadki. Nie zastąpi testów na Waszych danych.
Typowy przebieg jest taki: asystent działa świetnie przez pierwsze pięć wiadomości, potem zaczyna mijać się z pytaniem, więc ktoś dopisuje do polecenia kolejne zdanie „pamiętaj, żeby…”. Po miesiącu polecenie ma trzy strony, a odpowiedzi są gorsze niż na początku. To nie jest problem sformułowania. To problem tego, co model ma przed sobą w momencie odpowiadania.
Model widzi tylko okno, nie całą rozmowę
Model nie ma pamięci między wywołaniami. Za każdym razem dostaje jeden pakiet tekstu — polecenie systemowe, historię rozmowy, dołączone dokumenty, wyniki narzędzi — i odpowiada wyłącznie na jego podstawie. Ten pakiet ma skończony rozmiar, opisywany jako okno kontekstu. Gdy rozmowa rośnie, starsze fragmenty trzeba z tego pakietu usuwać albo streszczać, żeby zmieścić nowe; dostawcy udostępniają na to osobne mechanizmy zarządzania kontekstem. Efekt, który widzicie jako „asystent zapomniał ustaleń”, to zwykle po prostu ustalenie, które wypadło z pakietu.
Dłuższe polecenie pogarsza ten problem podwójnie. Zajmuje miejsce, które mogłoby przypaść dokumentom, a jednocześnie rozcieńcza to, co naprawdę ważne, w masie zastrzeżeń dopisywanych po każdej wpadce. Poradnik OpenAI o formułowaniu poleceń idzie w przeciwną stronę niż odruch większości zespołów: konkretnie, krótko, z przykładem, zamiast dłuższej listy przykazań.
Trzy pytania zamiast przepisywania polecenia
Czy odpowiedź w ogóle miała się skąd wziąć. Jeśli informacja nie znalazła się w pakiecie, żadne polecenie jej tam nie wstawi. To najczęstsza przyczyna i najłatwiejsza do sprawdzenia: wypiszcie, co dokładnie poszło do modelu przy tym jednym zapytaniu. Czy wyszukiwanie podało właściwy fragment. Przy asystencie opartym o dokumenty firmy zła odpowiedź zwykle znaczy, że wyszukiwarka podała nie ten kawałek — a to strojenie wyszukiwania, nie polecenia. Czy zadanie nie jest w rzeczywistości trzema zadaniami. Jedno wywołanie, które ma naraz sklasyfikować, wyszukać i sformułować odpowiedź, wypada gorzej niż trzy proste kroki po kolei.
Praktyczny nawyk, który oszczędza najwięcej czasu: zapisujcie pełny pakiet wysłany do modelu przy każdej złej odpowiedzi. Bez tego zapisu debugowanie polega na zgadywaniu i kończy się dopisaniem kolejnego zdania do polecenia. Z tym zapisem w większości przypadków od razu widać, że w pakiecie nie było czego trzeba — i wtedy wiadomo, co naprawiać.
Kiedy prompt jednak jest problemem
Wtedy, gdy odpowiedzi są merytorycznie trafne, ale mają zły format, zły ton albo za dużo lania wody. To są usterki polecenia i poprawia się je poleceniem — najlepiej przez podanie jednego dobrego przykładu zamiast opisu słowami. Rozróżnienie jest proste: zła treść to zwykle kontekst, zła forma to zwykle prompt.
Jak budujemy asystentów, którzy odpowiadają z dokumentów firmy zamiast z pamięci modelu, opisujemy przy prywatnej bazie wiedzy. Widełki kosztów są na stronie o cenach wdrożeń AI.
Bronmateriaal
Bronnen die we hebben geraadpleegd bij het schrijven. Bovenstaande tekst is van ons; deze websites zijn niet verantwoordelijk voor de inhoud en hebben deze niet geautoriseerd.
