Kust tekib 14 200 PLN suurune API arve

Jagame lahendusi, mida oleme ise juurutustel testinud: tasuta ja eelduseta, et teie juhtum on identne. 70 töötajaga kaubandusettevõttes kasutab klienditeenindus alates jaanuarist assistenti, mis teeb e-kirjadest kokkuvõtteid ja koostab pakkumisi. API pakkuja märtsikuu arvel seisab 14 200 PLN neto asemel 2 100 PLN. Kood ei muutunud, keegi uusi funktsioone ei lisanud. See hüpe tuleneb kolmest väljast kasutuslogis: sisendtokenid kasvavad koos vestluse ajalooga, limiidi ületanud päringut korratakse tsüklis ja üks API võti teenindab viit tiimi ilma projektipõhiste eelarveteta.

AIPilt on genereeritud tehisintellekti poolt.

API arve koosneb mitmest komponendist: sisendtokenid (kogu saadetud ajalugu), väljundtokenid (genereeritud sisu), arutlustokenid, funktsioonikutsumine, struktureeritud väljund ning pildid või heli, kui mudel neid töötleb. Vestlusvooru loogika on lihtne: vooru tasu = kogu ajaloo sisendtokenite summa × sissetulev tariif pluss genereeritud tokenid × väljaminev tariif. Seetõttu maksab 20 000 tokeniga dokumendiga vestlemine sente, kuid sama vestlus pärast kogu teema lisamist võtab 200 000 tokenit ja ammendab eelarve enne, kui mudel kirjutab esimese lause. OpenAI ametlikud tariifid on toodud hinnakirjas ning tokeneid ja nende arvestust kirjeldab dokumentatsioon.

Mida saab teha sel nädalal

Samm 1: kasutusraport tabelisse. Aeg: 2 tundi, teeb API administraator või DevOps. Tarnija halduspaneeli eksport filtreeritakse väljade järgi: model, api_key, project_id, cached_tokens, completion_tokens, requests. Koostab liigendtabeli, et näha, milline projekt ja võti tekitab 80% arvest. Samm 2: range limiit ja hoiatused konsoolis. Aeg: 30 minutit, teeb arvelduskonto omanik. OpenAI keskkonnas seatakse kuueelarve, Azure Cost Managementis eelarve, Google Cloud Billingus teavitus, AWS Budgets keskkonnas teavitus. Läved: 50%, 80%, 100%. 100% tasemel peab API töö kohe peatama. Samm 3: prompt caching korduvate kontekstide puhul. Aeg: 2–4 tundi, teeb rakenduse insener. Piisab sellest, kui sama süsteemijuhist uuesti ei saadeta ja määratakse cache TTL vastavalt dokumentatsioonile. Hinnanguline sääst: 30–90% sisendtokenite kulust. Samm 4: väiksem mudel madala riskiga suundadel. Aeg: 1 päev, teeb tootearendusmeeskond koos arendajaga. E-kirjade kokkuvõtted, kategoriseerimine ja pakkumiste esialgsed versioonid suunatakse mudelitele GPT-4o mini, Claude Haiku või Gemini Flash, samal ajal kui läbirääkimised ja lepingute analüüs jäävad suuremale mudelile. Anthropici mudelite hinnad leiab ametlikust hinnakirjast. Samm 5: eraldi API võtmed igale meeskonnale. Aeg: 2 tundi, teeb IT-juht. Igale meeskonnale uus võti ja kululimiit. Nii ei kao ühe korduskatselõigu hüpe üldisesse arvesse.

Mida mitte teha kohe

Esimene reaktsioon on osta AI kulude jälgimise platvorm või LLM-lüüs. Sellise juurutuse kulu on tavaliselt 4 000–15 000 PLN ja kaks nädalat integreerimist, kuigi selle nädala probleemiks osutub sageli üksainus korduskatselõik pärast koodi 429. Teine viga on üldine üleminek kõige väiksemale mudelile. Poolakeelsete ülesannete puhul saavad GPT-4o mini, Claude Haiku ja Gemini Flash hästi hakkama kategoriseerimise ja kokkuvõtetega, kuid võivad pakkumises segi ajada kuupäevad või summad. Kolmas viga on üks range limiit kogu ettevõttele: reedel kell 16:40 blokeerib see tootmise, mitte ainult eksperimendi. Selle asemel määratakse limiidid võtme, projekti ja meeskonna kaupa. Neljas viga on tarnija vahetamine või läbirääkimised esimesel nädalal; ilma kasutusraportita pole millestki rääkida. Viies viga on Batch API ja öise töötlemise väljalülitamine, sest seal on hind sageli 50% madalam ja see hoiab tihti ainsana eelarvet paigal.

AIPilt on genereeritud tehisintellekti poolt.

Kuidas kontrollida kahe nädala pärast, et süsteem töötab

Kahe nädala pärast arvutage 1 miljoni sisend- ja väljundtokeni kulu projektis, mis varem tekitas suurima arve. Jagage tabelis tasu kasutusväljalt võetud sisend- ja väljundtokenite summaga. Poolakeelse väiksema mudeli võrdlusväärtus 24.04.2026 seisuga (1 USD = 3,78 PLN, allikas NBP, netosummad) on 0,70–0,90 PLN 1 miljoni tokeni kohta sisendi ja väljundi peale kokku. Kui enne muudatust oli kulu 2,40 PLN ning pärast vahemälu aktiveerimist ja mudeli vahetamist langes see 1,10 PLN tasemele, on sääst 54%. Tagasipööramise lävi: kui kulu 1 miljoni tokeni kohta ei langenud alla 1,20 PLN või 429 Too Many Requests päringute osakaal ületab endiselt 5% kogumahust, taastage eelmine mudel ja kontrollige, kas vahemälu tegelikult tabamusi annab.

Kui teil puudub aeg raporti koostamiseks ja limiitide seadistamiseks, teeb HEXART seda lühikese sekkumisena: 3–5 tööpäeva, alustame kasutuse väljavõtmisest projekti ja võtme kaupa, seejärel seadistame eelarved, teavitused ja vahemälureeglid. Tulemuseks jääb esmaspäevaks kontrolltabel. Lisainfo: https://hexart.pl/uslugi.