Kiedy trzymać model AI na własnym serwerze zamiast w chmurze

To poradnik z własnego podwórka — liczby pochodzą z naszych wdrożeń i z rachunków, które sami płacimy. Wasze wyjdą inaczej przy innym wolumenie.

Pytanie „chmura czy własny serwer” pada zwykle w formie pytania o koszt, a koszt jest tu najsłabszym kryterium. Chmura rozliczana za użycie zaczyna się od zera i przy kilkuset zapytaniach miesięcznie wygrywa z każdą maszyną — bo maszyna kosztuje tyle samo, gdy stoi bezczynnie. Własny serwer wygrywa dopiero powyżej progu, przy którym rachunek za API zaczyna przypominać ratę leasingową. Zanim policzycie ten próg, warto odpowiedzieć na trzy inne pytania.

AIImage générée par IA.

Cztery pytania w dobrej kolejności

Jakie dane wychodzą na zewnątrz. Jeśli w zapytaniach są dane osobowe, a dostawca przetwarza je poza Europejskim Obszarem Gospodarczym, wchodzi rozdział V RODO — transfer wymaga podstawy, a najprostsza z nich to decyzja Komisji o odpowiednim stopniu ochrony dla danego kraju. To jest do załatwienia i wielu dostawców ma to poukładane; rzecz w tym, że trzeba to sprawdzić przed wdrożeniem, a nie po pierwszym pytaniu z działu prawnego. Przy dokumentacji medycznej, aktach kadrowych czy materiałach objętych umową o poufności z klientem próg zwykle rozstrzyga się sam i to nie kalkulator go rozstrzyga.

Czy rachunek ma być przewidywalny. Rozliczenie za użycie oznacza, że koszt rośnie razem z sukcesem wdrożenia — im częściej ludzie korzystają, tym wyższa faktura, i nie widać tego, dopóki nie przyjdzie. Maszyna kosztuje tyle samo w każdym miesiącu. U nas serwer pod model, który streszcza korespondencję, wyszedł około 18 500–21 000 zł jednorazowo i mniej więcej 130 zł prądu miesięcznie; te liczby razem z porównaniem do abonamentów zebraliśmy na stronie o kosztach wdrożeń.

Trzecie pytanie: jak stąd wyjść

Ile kosztuje zmiana dostawcy. To pytanie zadaje się najrzadziej, a bywa najdroższe. Unijny akt o danych nakłada na dostawców usług przetwarzania danych obowiązki dotyczące zmiany usługodawcy i wycofywania opłat za samo przeniesienie, ale nie przenosi za Was integracji, promptów ani danych ułożonych pod cudzy format. Praktyczny test jest jeden: spróbujcie opisać na kartce, co trzeba zrobić, żeby przenieść to wdrożenie gdzie indziej. Jeśli opis nie mieści się na stronie, jesteście przywiązani mocniej, niż wynikałoby z umowy.

AIImage générée par IA.

Czy zadanie w ogóle wymaga dużego modelu. To pytanie kasuje najwięcej kosztów, bo bywa, że odpowiedź brzmi „nie”. Klasyfikacja zgłoszeń do trzech kategorii, wyciągnięcie kwoty i daty z faktury, streszczenie maila — to zadania, przy których mniejszy model uruchamiany lokalnie wypada porównywalnie, a różnicy nikt na oczy nie zobaczy. Duży model z chmury bierze się do rzeczy, gdzie liczy się jakość języka albo rozumowanie na wielu krokach.

Kiedy własny serwer NIE ma sensu

Gdy nie ma kto go pilnować. Maszyna wymaga aktualizacji, kopii zapasowych, monitoringu i kogoś, kto odbierze telefon, gdy przestanie odpowiadać w środę o dwudziestej trzeciej. W firmie bez własnego IT ten koszt jest realny, tylko nie stoi na fakturze — i regularnie przewyższa oszczędność na abonamencie. Wtedy uczciwym rozwiązaniem jest chmura z porządnie sprawdzoną umową powierzenia, nie serwer, który po pół roku stoi z nieaktualnym systemem.

AIImage générée par IA.

Jak wygląda u nas wersja z modelem na miejscu — sprzęt, model i to, co realnie na nim działa — opisujemy przy lokalnym serwerze LLM. Widełki i progi opłacalności zebraliśmy na stronie o cenach wdrożeń AI.