Dlaczego automatyzacja AI przestaje działać po kilku miesiącach

To poradnik z własnego podwórka — spisany z rzeczy, które popsuły się nam i naszym klientom. Wasza lista będzie wyglądać podobnie.

Automatyzacja oparta o model nie jest urządzeniem, które raz ustawione stoi. Jest połączeniem kilku cudzych usług, z których każda zmienia się niezależnie od Was i bez pytania o zgodę. Dlatego pytanie „ile to kosztuje” ma dwie części, a druga — utrzymanie — bywa pomijana przy wycenie i to ona później zaskakuje.

AIBillede genereret af AI.

Model, na którym to stoi, ma datę ważności

Dostawcy wycofują starsze wersje modeli i publikują to w osobnych wykazach — OpenAI prowadzi listę wycofań, Anthropic również. Wycofanie oznacza konkretną datę, po której wywołanie przestaje działać. Jeśli nikt tych stron nie czyta, dowiadujecie się o tym z telefonu od użytkownika, a nie z wyprzedzeniem. Sama podmiana nazwy modelu bywa prosta — kłopot w tym, że nowszy model odpowiada trochę inaczej, więc polecenia dostrojone pod poprzedni wymagają sprawdzenia. To jest ta praca, której nie widać w wycenie wdrożenia.

Druga rzecz to zmiany po stronie systemów, z którymi wdrożenie rozmawia. Aktualizacja programu księgowego zmienia układ eksportu, dostawca poczty zmienia sposób logowania, ktoś w firmie dodaje pole do formularza. Każda z tych zmian jest po swojej stronie rozsądna i żadna nie została z Wami uzgodniona. Automatyzacja przewracająca się po takiej zmianie nie jest źle zrobiona — po prostu ktoś musi ją poprawić.

Trzecia przyczyna: zmieniły się dane

Najtrudniejsza do zauważenia, bo nic się nie psuje w widoczny sposób. Klasyfikator zgłoszeń nauczony na zeszłorocznych sprawach spotyka nowy typ sprawy i wrzuca go do najbliższej znanej kategorii — cicho i bez błędu. Asystent odpowiadający z bazy wiedzy trafia na procedurę zmienioną w kwietniu, której nikt nie podmienił w bazie, i podaje starą wersję z pełnym przekonaniem. To nie wychodzi w logach. Wychodzi w reklamacji trzy miesiące później.

AIBillede genereret af AI.

Dlatego minimalne utrzymanie, które ma sens, to trzy rzeczy: stały zestaw kilkudziesięciu przykładów z prawidłową odpowiedzią, puszczany po każdej zmianie modelu; alarm, gdy udział spraw trafiających do kategorii „inne” rośnie; i przegląd źródeł wiedzy raz na kwartał, żeby wyłapać dokumenty zmienione poza systemem. To razem kilka godzin miesięcznie, a nie etat — pod warunkiem, że zostało zaplanowane od początku.

Kiedy to NIE jest problem

Gdy wdrożenie stoi na modelu uruchamianym u Was na miejscu. Wtedy nikt go Wam nie wycofa i data ważności nie istnieje — kosztem jest sprzęt, aktualizacje i to, że nowsze wersje modeli trzeba podmieniać samodzielnie, gdy uznacie, że warto. To realna zaleta rozwiązania lokalnego i zwykle nie pada w rozmowie, bo cała dyskusja kręci się wokół ceny.

AIBillede genereret af AI.

Jak wygląda wersja z modelem na własnym sprzęcie, opisujemy przy lokalnym serwerze LLM. Koszty wdrożenia i utrzymania zebraliśmy na stronie o cenach wdrożeń AI.