Business and implementations09:00
Po czym poznać, że wdrożenie AI przestało działać
System nie przestaje działać z hukiem — przestaje po cichu, a firma dowiaduje się o tym od klienta. Trzy wskaźniki, które warto ustawić w dniu uruchomienia, i jeden próg, poniżej którego wdrożenie się wycofuje.
Obserwacje z wdrożeń, podane za darmo i bez gwarancji, że pasują do Waszego procesu. Progi warto ustalić na własnych danych, a nie przepisać z cudzych.
Awaria serwera jest łatwa: coś nie odpowiada i wiadomo, że trzeba działać. Wdrożenie AI psuje się inaczej — dalej odpowiada, dalej wygląda tak samo, tylko odpowiedzi zaczynają być gorsze. Bez pomiaru ustawionego wcześniej nikt tego nie zauważy, dopóki nie zadzwoni klient.
Trzy rzeczy, które trzeba mierzyć od pierwszego dnia
Odsetek spraw domykanych bez człowieka. To jedyna liczba, która mówi, czy system nadal zdejmuje robotę, czy tylko dokłada kroku. Spadek o kilka punktów z tygodnia na tydzień jest sygnałem, zanim ktokolwiek złoży reklamację.
Odsetek poprawek wprowadzanych przez człowieka. Jeśli pracownik poprawia co drugą odpowiedź, system nie oszczędza czasu, tylko go przenosi. Ten wskaźnik jest wygodny, bo zbiera się sam — wystarczy zapisywać, czy szkic poszedł bez zmian.
Udział pytań spoza zakresu. Rosnący udział pytań, na które system nie ma odpowiedzi w dokumentach, zwykle nie oznacza awarii, tylko że zmieniła się oferta albo procedura, a baza za tym nie nadążyła.
Próg, przy którym się wycofujemy
Przy zadaniach, w których wynik da się porównać z oryginałem, próg da się postawić twardo. Przy odczycie pól z polskich umów przyjmujemy 95 procent poprawnych pól na próbie 100 skanów; wynik poniżej 90 procent oznacza wycofanie się z zakupu sprzętu i sprawdzenie jakości skanów, a nie obniżenie progu. To rozróżnienie jest w praktyce najważniejsze: próg ustala się przed testem, nie po nim.
Drugi element to rejestr. Data, pytanie, dokument, z którego poszła odpowiedź, i osoba, która ją zatwierdziła. Przy sporze z klientem albo przy kontroli jest to jedyna rzecz, która cokolwiek udowadnia, a dopisanie go później do działającego systemu kosztuje wielokrotnie więcej niż uwzględnienie od razu.
Kiedy nie warto tego budować
Przy jednym prostym procesie i kilkunastu sprawach dziennie osobny system monitorowania jest przerostem — wystarczy arkusz i cotygodniowy przegląd przez osobę, która i tak te sprawy prowadzi. Granica przebiega tam, gdzie nikt nie jest w stanie przejrzeć wszystkiego ręcznie. Wtedy brak pomiaru przestaje być oszczędnością i staje się ryzykiem.
Sposób, w jaki sprawdzamy system przed wypuszczeniem go na produkcję, opisujemy przy środowisku testowym.
Source materials
Sources consulted during research. The text above is our own; these third parties are not responsible for its content and have not authorised it.
