Iš kur API sąskaitoje atsiranda 14 200 PLN

Dalijamės tuo, ką patys patikrinome diegdami: nemokamai ir nedarant prielaidos, kad jūsų atvejis yra identiškas. Prekybos įmonėje, kurioje dirba 70 žmonių, klientų aptarnavimo komanda nuo sausio naudoja asistentą, kuris apibendrina el. laiškus ir rengia pasiūlymus. Kovo mėnesio sąskaitoje iš API teikėjo nurodyta 14 200 PLN net vietoje 2 100 PLN. Kodas nepasikeitė, naujų funkcijų niekas nediegė. Šis šuolis kyla iš trijų laukų, matomų naudojimo skydelyje: įvesties žetonai auga kartu su pokalbio istorija, viena užklausa viršijus limitą kartojama cikle, o vienas API raktas aptarnauja penkias komandas be biudžeto atskiriems projektams.

AIPaveikslėlis sugeneruotas DI.

API sąskaitoje matoma kelių elementų suma: įvesties žetonai (visa išsiųsta istorija), išvesties žetonai (sugeneruotas turinys), reasoning tokens, tool calling, structured output bei vaizdai ar garsas, jei modelis juos apdoroja. Pokalbio etapo mechanika paprasta: etapo kaina = visos istorijos įvesties žetonų suma × įvesties tarifas plius sugeneruoti žetonai × išvesties tarifas. Todėl pokalbis su 20 tūkst. žetonų dokumentu kainuoja centus, o tas pats pokalbis pridėjus visą giją turi 200 tūkst. žetonų ir išnaudoja biudžetą dar modeliui neparašius pirmojo sakinio. Oficialūs OpenAI tarifai pateikti kainoraštyje, o žetonai ir jų skaičiavimas aprašyti dokumentacijoje.

Ką galima padaryti šią savaitę

1 veiksmas: naudojimo ataskaita į skaičiuoklę. Trukmė: 2 valandos, atlieka API administratorius arba DevOps. Eksportas iš tiekėjo valdymo skydo filtruojamas pagal laukus: model, api_key, project_id, cached_tokens, completion_tokens, requests. Sukeliama į suvestinę lentelę, kad matytųsi, kuris projektas ir raktas sugeneruoja 80% sąskaitos. 2 veiksmas: griežtas limitas ir įspėjimai valdymo pulte. Trukmė: 30 minučių, atlieka atsiskaitymo paskyros savininkas. OpenAI nustatomas monthly budget, Azure Cost Management: biudžetas, Google Cloud Billing: įspėjimas, AWS Budgets: įspėjimas. Ribos: 50%, 80%, 100%. Pasiekus 100%, API turi visiškai sustoti. 3 veiksmas: prompt caching pasikartojantiems kontekstams. Trukmė: 2–4 valandos, atlieka programų inžinierius. Užtenka nesiųsti tos pačios sisteminės instrukcijos iš naujo ir nustatyti cache TTL ten, kur numato dokumentacija. Numatomas sutaupymas: 30–90% išlaidų įvesties žetonams. 4 veiksmas: mažesnis modelis mažos rizikos procesuose. Trukmė: 1 diena, atlieka produktų komanda su programuotoju. Laiškų santraukos, skirstymas į kategorijas, preliminarūs pasiūlymų variantai perkeliami į GPT-4o mini, Claude Haiku arba Gemini Flash, o derybiniai pokalbiai ir sutarčių analizės lieka prie didesnio modelio. Anthropic modelių įkainiai pateikti oficialiame kainoraštyje. 5 veiksmas: atskiri API raktai kiekvienai komandai. Trukmė: 2 valandos, atlieka IT vadovas. Kiekvienai komandai: naujas raktas ir išlaidų limitas. Dėl to vienos retry kilpos šuolis nepasimeta bendroje sąskaitoje.

Ko nedaryti iš karto

Pirmas impulsas: pirkti AI išlaidų stebėsenos platformą arba LLM šliuzą. Tokio diegimo kaina paprastai siekia 4 000–15 000 PLN ir reikalauja dviejų savaičių integracijos, o šios savaitės problema dažniausiai pasirodo esanti viena retry kilpa po 429 klaidos kodo. Antra klaida: globalus perėjimas prie paties mažiausio modelio. Atliekant užduotis lenkų kalba, GPT-4o mini, Claude Haiku ir Gemini Flash gerai atlieka kategorizavimą ir santraukas, tačiau gali supainioti datas ar sumas pasiūlyme. Trečia klaida: vienas griežtas limitas visai įmonei: penktadienį 16:40 jis užblokuos gamybą, o ne tik eksperimentą. Vietoj to limitai nustatomi kiekvienam raktui, projektui ir komandai. Ketvirta klaida: tiekėjo keitimas arba derybos pirmąją savaitę; be naudojimo ataskaitos nėra apie ką kalbėtis. Penkta klaida: Batch API ir naktinio apdorojimo išjungimas, nes ten tarifas būna 50% mažesnis, ir tai dažnai yra vienintelis dalykas, išlaikantis biudžetą.

AIPaveikslėlis sugeneruotas DI.

Kaip po dviejų savaičių įsitikinti, kad sistema veikia

Po dviejų savaičių suskaičiuokite 1 mln. įvesties ir išvesties žetonų kainą projekte, kuris anksčiau sugeneruodavo didžiausią sąskaitą. Skaičiuoklėje padalykite mokestį iš įvesties ir išvesties žetonų sumos, gautos iš usage lauko. Mažesnio modelio lenkų kalba atskaitos vertė, taikant 2026-04-24 kursą (1 USD = 3,78 PLN, šaltinis: NBP, sumos be PVM), yra 0,70–0,90 PLN už 1 mln. žetonų įvesties ir išvesties kartu. Jei prieš pakeitimą kaina buvo 2,40 PLN, o įjungus podėlį ir pakeitus modelį nukrito iki 1,10 PLN, sutaupyta 54%. Grįžimo prie ankstesnės būsenos riba: jei 1 mln. žetonų kaina nenukrito žemiau 1,20 PLN arba užklausų su 429 Too Many Requests dalis vis dar viršija 5% visų užklausų, atkurkite ankstesnį modelį ir patikrinkite, ar podėlis faktiškai fiksuoja pataikymus.

Jei neturite laiko ataskaitoms ir limitų konfigūravimui, HEXART tai atlieka kaip trumpą įsitraukimą: 3–5 darbo dienos. Pradedame nuo naudojimo išskyrimo pagal projektą ir raktą, vėliau nustatome biudžetus, įspėjimus ir podėlio taisykles. Po to lieka kontrolinė skaičiuoklė pirmadieniui. Išsamiau: https://hexart.pl/uslugi.