RAG vai LLM papildapmācība vienas nedēļas laikā, pirms tērējat 15 tūkstošus

Uztveriet to kā bezmaksas praktiķu ceļvedi: noderīgs startam un sarunai komandā, bet par šauru kā vienīgais pamats nopietnam lēmumam. Pirmdienas rīts, juridiskais birojs ar 180 darbiniekiem, arhīvā 900 tūkstoši līgumu un atzinumu. Mākoņpakalpojumu sniedzējs piedāvā: apmācīsim LLM jūsu terminoloģijai, sākot no 15 tūkstošiem PLN. Pirms kāds apstiprina budžetu, ir nepieciešama viena iekšējā darba nedēļa, lai noskaidrotu, vai vispār ir jēga mainīt modeļa svarus, nevis vienkārši labāk meklēt.

AIAttēls ģenerēts ar AI.

Papildu apmācība nav dokumentu iegaumēšana. Apmācība maina modeļa svarus, tāpēc sistēma sāk citādi pielāgot stilu un formātu, taču faktus tai joprojām ir jāsaņem no ārpuses. Ja vairāk nekā 90% uzdevumu ir rindkopas meklēšana, citēšana un esošā teksta kopsavilkums, parasti pietiek ar RAG: modelis saņem dokumentu kontekstā un norāda avotu. Personas datu apstrādes pamatu nosaka VDAR, bet augsta riska sistēmu dokumentēšanas pienākumus: AI Act.

Ko iespējams paveikt šonedēļ

Pirmkārt: izvēlieties vienu atkārtojamu procesu, kurā noteicošais ir formāts, nevis meklēšana: vienošanās sākotnējā versija, ikmēneša audita ziņojums, piedāvājuma tehniskais apraksts. Departamenta direktoram tas prasīs 2 stundas. Otrkārt: atlasiet 80 instrukciju un atbilžu pārus no pēdējiem trim mēnešiem bez personas datiem; 6 stundas viena analītiķa darba. Treškārt: sagatavojiet 20 testa gadījumus un vienkāršu vērtēšanas skalu: formāta atbilstība, avota pareizība, labojumu veikšanas laiks; 2 stundas QA speciālista darba. Ceturtkārt: palaidiet pamata RAG šiem 20 gadījumiem, izmantojot esošo dokumentu bāzi un bezmaksas vektordzinēju; 8 stundas IT inženiera darba. Piektkārt: aprēķiniet žetonus no 80 pāriem un mērogojiet QLoRA un API izmaksas līdz 500 pāriem; 1 stunda CTO darba. Kopā 19 darba stundas, 0 PLN papildu budžeta.

Ko nedarīt uzreiz

Pirmā reakcija bieži ir nosūtīt visu arhīvu uz API modeļa papildapmācībai. Tā parasti ir kļūda: personas dati un komercnoslēpumi nonāk ārējā sistēmā, un pēc apmācības atsevišķu ierakstu dzēšana no svariem ir tehniski sarežģīta. Personas datu gadījumā bieži jāveic ietekmes novērtējums, ko apraksta UODO. Fine-tuning nav faktoloģiskā atmiņa: modelis pēc papildapmācības joprojām var izdomāt faktus, tikai jūsu stilā. A100 karte pirms RAG testa ir priekšlaicīgs tēriņš, un modeļa versijas uzturēšanas pastāvīgās izmaksas mēdz būt lielākas par pašu GPU. Solījums, ka modelis "iepazīs dokumentus", rada vilšanos, jo tas ir vektoru datubāzes uzdevums. Sākt ar 50 tūkstošiem piemēru, pirms 500 pāri ir izturējuši validāciju, rada datu parādu, nevis priekšrocību.

AIAttēls ģenerēts ar AI.

Kā pēc divām nedēļām pārliecināties, ka tas darbojas

Pēc divu nedēļu RAG testiem ar 20 dokumentiem vērtējiet vienu rādītāju: to dokumentu īpatsvaru, kuri tiek apstrādāti bez saturiskiem labojumiem. Ja rezultāts ir 80% vai vairāk un katrai atbildei ir pareizs avots, papildapmācībai pašlaik nav pamata: problēmu atrisināja izgūšana, nevis jauns modelis. Ja rādītājs noslīd zem 60%, tas liecina, ka cēlonis ir datos, nevis arhitektūrā. Šādā gadījumā apmācības vietā atgriezieties pie datubāzes tīrīšanas un dokumentu nozīmju precizēšanas.

Ja pēc testa izrādās, ka ar RAG pietiek, HEXART palīdz izveidot vektoru datubāzi un dokumentu apriti ar avotu citēšanu. Ja nepieciešama modeļa papildapmācība, sagatavojam treniņdatu kopu, metriku versiju pārvaldību un novērtēšanas pakotni, lai bāzes modeļa maiņa nesagrautu ieviešanu. Pakalpojumu klāsts pieejams vietnē hexart.pl.