Honnan ered a 14 200 PLN értékű API számla

Megosztjuk a saját implementációs tapasztalatainkat: ingyenesen és anélkül, hogy feltételeznénk, az Ön esete pontosan megegyezik a miénkkel. Egy 70 fős kereskedelmi cégnél az ügyfélszolgálati csapat januártól egy olyan asszisztenst használ, amely összefoglalja az e-maileket és ajánlatokat készít elő. A márciusi API-számla a szolgáltatótól 14 200 PLN nettó összeget mutat a 2 100 PLN helyett. A kód nem változott, senki nem vezetett be új funkciókat. Ez a kiugrás három tényezőből ered, amelyek láthatók a használati felületen: a bemeneti tokenek száma a beszélgetési előzménnyel együtt nő, a limit elérése után a rendszer ciklikusan újrapróbálkozik a kérésekkel, valamint egyetlen API-kulcs szolgál ki öt csapatot projektszintű költségkeretek nélkül.

AIKép mesterséges intelligencia által generált.

Az API-számlán több tétel összege szerepel: bemeneti tokenek (a teljes elküldött előzmény), kimeneti tokenek (a generált tartalom), reasoning tokens, tool calling, structured output, valamint képek vagy hangok, ha a modell feldolgozza azokat. Egy beszélgetési kör működése egyszerű: a kör díja = a teljes előzmény bemeneti tokenjeinek összege × in tarifa + generált tokenek × out tarifa. Ezért egy 20 ezer tokenes dokumentummal folytatott beszélgetés filléres tétel, de ugyanez a beszélgetés a teljes előzménnyel kiegészítve már 200 ezer token, és kimeríti a költségkeretet, mielőtt a modell leírná az első mondatot. Az OpenAI hivatalos díjai az árlistában találhatók, a tokeneket és azok számlálását pedig a dokumentáció részletezi.

Mit lehet megtenni ezen a héten

1. lépés: használati jelentés táblázatba rendezése. Időtartam: 2 óra, elvégzi az API adminisztrátor vagy a DevOps mérnök. A szolgáltató felületéről történő exportálás szűrése a következő mezők szerint: model, api_key, project_id, cached_tokens, completion_tokens, requests. Kimutatástáblába rendezés annak megállapítására, hogy melyik projekt és kulcs generálja a számla 80%-át. 2. lépés: szigorú limit és riasztások beállítása a konzolon. Időtartam: 30 perc, elvégzi a számlázási fiók tulajdonosa. Az OpenAI-ban monthly budget, az Azure Cost Managementben költségkeret, a Google Cloud Billingben riasztás, az AWS Budgetsben riasztás kerül beállításra. Küszöbértékek: 50%, 80%, 100%. A 100% elérésekor az API-nak le kell állnia. 3. lépés: prompt caching ismétlődő kontextusoknál. Időtartam: 2–4 óra, elvégzi az alkalmazásfejlesztő mérnök. Elég elhagyni ugyanazon rendszerutasítás ismételt elküldését, és beállítani a cache TTL-t ott, ahol a dokumentáció ezt lehetővé teszi. Becsült megtakarítás: 30–90% a bemeneti tokenek költségéből. 4. lépés: kisebb modell az alacsony kockázatú feladatokhoz. Időtartam: 1 nap, elvégzi a termékcsapat a fejlesztővel. Az e-mailek összefoglalása, a kategorizálás és az ajánlatok előzetes verziói a GPT-4o mini, Claude Haiku vagy Gemini Flash modellekre kerülnek, míg a tárgyalási beszélgetések és a szerződések elemzése a nagyobb modellen marad. Az Anthropic modellek díjai a hivatalos árlistában érhetők el. 5. lépés: külön API-kulcsok csapatonként. Időtartam: 2 óra, elvégzi az IT Manager. Új kulcs és költési limit minden csapat számára. Ennek köszönhetően az egyetlen újrapróbálkozási ciklusból eredő kiugrás nem vész el az összesített számlában.

Mit ne tegyen meg azonnal

Az első ösztönös lépés egy AI-költségfigyelő platform vagy egy LLM gateway vásárlása. Egy ilyen bevezetés költsége általában 4 000–15 000 PLN és két hét integráció, miközben az adott heti probléma leggyakrabban csak egy 429-es hibakód utáni retry loop. A második hiba a globális visszalépés a legkisebb modellre. Lengyel nyelvű feladatoknál a GPT-4o mini, Claude Haiku és Gemini Flash jól megbirkóznak a kategorizálással és az összefoglalókkal, de elronthatnak dátumokat vagy összegeket az ajánlatokban. A harmadik hiba az egész vállalatra érvényes egyetlen szigorú limit beállítása: ez pénteken 16:40-kor a teljes éles üzemet leállítja, nem csak a kísérleteket. Ehelyett kulcsonként, projektenként és csapatonként kell limiteket beállítani. A negyedik hiba a szolgáltatóváltás vagy a tárgyalások megkezdése már az első héten: usage riport nélkül nincs miről beszélni. Az ötödik hiba a Batch API és az éjszakai feldolgozás kikapcsolása, pedig ott az ár gyakran 50%-kal alacsonyabb, és sokszor ez az egyetlen tényező, amely tartja a költségkeretet.

AIKép mesterséges intelligencia által generált.

Hogyan ellenőrizze két hét után a működést

Két hét elteltével számolja ki az 1 millió bemeneti és kimeneti tokenre eső költséget annál a projektnél, amely korábban a legnagyobb számlát generálta. A táblázatban ossza el a díjat a usage mezőből származó bemeneti és kimeneti tokenek összegével. Kisebb lengyel nyelvű modell esetén a viszonyítási alap a 2026.04.24-i árfolyamon (1 USD = 3,78 PLN, forrás: NBP, nettó összegek) 0,70–0,90 PLN 1 millió tokenre vetítve, a bemenetet és kimenetet együttesen számolva. Ha a módosítás előtt 2,40 PLN volt, majd a cache bekapcsolása és a modell cseréje után 1,10 PLN-re csökkent, a megtakarítás 54%. Visszalépési küszöb: ha az 1 millió tokenre jutó költség nem csökkent 1,20 PLN alá, vagy a 429 Too Many Requests hibát adó kérések aránya továbbra is meghaladja az összes kérés 5%-át, állítsa vissza az előző modellt, és ellenőrizze, hogy a cache valóban találatokat ad-e vissza.

Ha nincs idejük a riportra és a limitek konfigurálására, a HEXART gyors beavatkozásként elvégzi ezt: 3–5 munkanap, a projekt- és kulcsszintű usage kinyerésével kezdünk, majd beállítjuk a büdzséket, riasztásokat és cache-szabályokat. Eredményként egy hétfői ellenőrző táblázatot adunk át. Részletek: https://hexart.pl/uslugi.