Odbiór asystenta poczty na próbie 500 wiadomości

Zapisujemy tu, jak takie rzeczy wyglądają u nas na wdrożeniach — to otwarty poradnik, a nie opinia przygotowana pod Twoją firmę, więc ostatnie słowo zostaw swojemu prawnikowi. Przygotuj w Google Sheets arkusz odbioru, który zamieni prezentację wykonawcy w test zakończony wynikiem „odebrano” albo „nie odebrano”. Ustaw przykład dla skrzynki obsługującej 5000 maili miesięcznie i zakończ pracę protokołem opartym na 500 historycznych wiadomościach. Zanim zaczniesz, zbierz taksonomię kategorii, zanonimizowaną historię poczty, miesięczne koszty usługi i listę zdarzeń uznawanych za krytyczne. Sprawdź dostęp do logów oraz umowę powierzenia opisaną w art. 28 RODO; do budowy arkusza nie jest potrzebny płatny plan ani administrator Google Workspace, lecz przed testem wyznacz osobę mogącą eksportować logi i potwierdzić region przetwarzania.

Etap 1. Zbuduj ukrytą próbę — 45 minut

Kliknij nazwę pliku i wpisz „Odbiór asystenta poczty 5000”. Przyciskiem „+” dodaj arkusze „WEJŚCIE”, „KLUCZ”, „METRYKI”, „TESTY” i „PROTOKÓŁ”. W „WEJŚCIE” wpisz nagłówki: ID, received_at, subject, body, attachments_count; w „KLUCZ”: ID, expected_category, predicted_category, critical_case, expected_route, draft_eligible, returned_draft, verdict, critical_error, processing_seconds, variable_cost_pln. Dobierz 300 wiadomości przy wolumenie do 2000 miesięcznie, 500 wiadomości przy 2001–10 000 oraz 1000 wiadomości powyżej 10 000; dla tego przykładu wybierz 500, zachowaj udział kategorii z ostatnich 90 dni i dodaj co najmniej 30 przypadków każdej kategorii krytycznej. W kolumnie pomocniczej wpisz „=RAND()”, wybierz „Dane” → „Sortuj zakres” → opcję zaawansowanego sortowania, posortuj rosnąco, skopiuj wybrane wiersze i wklej je przez „Edytuj” → „Wklej specjalnie” → „Tylko wartości”, aby próba przestała się zmieniać. Oznacz reklamację skierowaną do zwykłej kolejki, niewłaściwą cenę, błędnego adresata, ujawnienie informacji oraz wysyłkę bez zatwierdzenia jako błąd krytyczny. Chroń arkusz „KLUCZ” przez „Dane” → „Chroń arkusze i zakresy”, ogranicz edycję do siebie i traktuj go jako ukryty zbiór odbiorowy: wykonawcy przekaż wyłącznie eksport „WEJŚCIE” w CSV, już po zamrożeniu konfiguracji systemu.

Etap 2. Wpisz metryki i granice odbioru — 60 minut

Otwórz „Plik” → „Ustawienia” i ustaw lokalizację arkusza na „Stany Zjednoczone”, aby poniższe formuły przyjęły przecinki. W „METRYKI” wpisz kolumny: category, TP, FP, FN, precision, recall, F1; umieść nazwę kategorii w A2, a następnie wpisz B2 „=COUNTIFS(KLUCZ!B:B,A2,KLUCZ!C:C,A2)”, C2 „=COUNTIFS(KLUCZ!B:B,"<>"&A2,KLUCZ!C:C,A2)” i D2 „=COUNTIFS(KLUCZ!B:B,A2,KLUCZ!C:C,"<>"&A2)”. Wpisz E2 „=B2/(B2+C2)”, F2 „=B2/(B2+D2)” oraz G2 „=2*E2*F2/(E2+F2)”, po czym przeciągnij formuły przez wszystkie kategorie; definicje porównaj z materiałem Google o precision i recall. W osobnej komórce wpisz „=AVERAGE(G2:G8)” i ustaw granicę macro-F1 ≥ 0,90, a dla reklamacji, spraw prawnych i wiadomości zawierających ceny ustaw precision ≥ 0,95 i recall ≥ 0,98. Policz „=COUNTIF(KLUCZ!I:I,"TAK")” i przyjmij 0 błędów krytycznych w odbiorze oraz w 30-dniowym pilotażu. Oznacz szkic jako „OK”, „DROBNA”, „ISTOTNA” albo „ODRZUT”, zaliczając zmianę ceny, faktu, zobowiązania, adresata lub sposobu załatwienia do korekty istotnej; ustaw udział „OK” plus „DROBNA” na ≥70% wiadomości oznaczonych jako draft_eligible. Podziel abonament, zużycie modeli, infrastrukturę i monitoring przez liczbę poprawnie sklasyfikowanych wiadomości z poprawnym szkicem albo prawidłowym przekazaniem człowiekowi i ustaw limit 0,50 zł netto za taki przypadek. Potraktuj te wartości jako praktyczny punkt wyjścia, a nie próg wynikający z przepisu; przekaż załącznik własnemu prawnikowi i osobie zatwierdzającej budżet oraz porównaj zakres metryk z dokumentacją Microsoft.

Etap 3. Przeprowadź cztery odbiory po kolei — 2 godziny i 30 dni obserwacji

W „TESTY” wpisz kolumny: kolejność, obszar, scenariusz, próg, wynik, status, dowód i wybierz „Wstaw” → „Pole wyboru” w kolumnie status. Najpierw uruchom odbiór funkcjonalny: sprawdź 12 scenariuszy obejmujących pobranie maila, załącznik, duplikat, obcy język, przypisanie kolejki, przygotowanie szkicu, ręczne zatwierdzenie i bezpieczne przekazanie po awarii; wymagaj zaliczenia wszystkich oraz pozostaw automatyczną wysyłkę wyłączoną. Następnie uruchom raz całą ukrytą próbę i wpisz wyniki jakościowe do „KLUCZ”, bez poprawiania pojedynczych odpowiedzi między partiami. Potem wprowadź 300 maili w 15 minut, poproś 20 osób o równoczesne otwieranie i zatwierdzanie szkiców, wpisz „=PERCENTILE(KLUCZ!J2:J501,0.95)” i ustaw p95 ≤ 120 s oraz nie więcej niż 1% nieprzetworzonych wiadomości. Na końcu sprawdź role, dziennik operacji, brak wysyłki bez zatwierdzenia, listę podprocesorów i usunięcie rekordu po testowym TTL równym 5 minut; po próbie ustaw produkcyjny TTL logów na 30 dni. Oblicz dostępność w oknie 24/7 jako 1 minus minuty niedostępności podzielone przez 43 200 minut i po 30 dniach wymagaj 99,5%, czyli najwyżej 216 minut przerwy. W „PROTOKÓŁ” wpisz wyniki czterech odbiorów, wersję modelu, wersję instrukcji, datę zamrożenia próby, koszt jednostkowy, listę usterek i decyzję; sprawdź też zalecenia testowe w NIST AI RMF Playbook oraz punkt wyjścia do podziału odpowiedzialności w unijnych klauzulach dla AI. Zaproponuj do rozmowy z doradcą transze 20% po zamrożeniu załącznika i próby, 30% po odbiorze funkcjonalnym i bezpieczeństwa, 30% po jakości i obciążeniu oraz 20% po pilotażu; wpisz dwa ponowne testy bez dodatkowej opłaty i pełną regresję na tej samej próbie po każdej zmianie modelu, promptu, bazy odpowiedzi albo reguł routingu.

Gdy coś nie wyszło

Sprawdź najpierw przeciek próby: gdy wykonawca znał oczekiwane etykiety albo stroił system po pojedynczych przypadkach, unieważnij wynik, wybierz nową próbę z tego samego okresu i ponownie zamroź konfigurację. Sprawdź następnie definicje ocen: gdy wynik szkiców wygląda dobrze tylko dlatego, że korekty merytoryczne oznaczono jako drobne, przejrzyj wspólnie losowe 50 ocen, popraw słownik „OK–ODRZUT” i przelicz cały zestaw. Sprawdź na końcu obciążenie i bezpieczeństwo: gdy przekroczono p95, zabrakło logu albo pojawiła się wysyłka bez zatwierdzenia, zatrzymaj połączenie ze skrzynką i przywróć ręczne kierowanie poczty. W „TESTY” dodaj tabelę usterek z kolumnami poziom, przykład, zabezpieczenie, termin naprawy i retest; wpisz P0 dla ujawnienia informacji, złej ceny lub nieautoryzowanej wysyłki z zabezpieczeniem w 4 godziny i naprawą w 1 dzień roboczy, P1 dla błędnego routingu lub braku szkicu z terminem 3 dni robocze oraz P2 dla formatowania i drobnych opóźnień z terminem 10 dni roboczych. Cofnij omyłkowe zmiany arkusza przez „Plik” → „Historia wersji” → „Wyświetl historię wersji”, wybierz zapis sprzed testu i kliknij funkcję przywrócenia tej wersji.

Policz efekt dopiero z zaakceptowanych wyników: przy 5000 maili miesięcznie, 70% użytecznych szkiców i oszczędności 2 minut na wiadomości wpisz do protokołu 7000 minut, czyli około 117 godzin miesięcznie. Pomnóż ten czas przez wewnętrzny koszt godziny; przy 80 zł otrzymasz 9336 zł miesięcznie przed odjęciem abonamentu, infrastruktury i czasu kontroli. Porównuj tę kwotę co miesiąc z kosztem jednostkowym oraz liczbą błędów krytycznych, zamiast rozliczać wdrożenie na podstawie samej demonstracji.