RAG sau reglare fină LLM într-o săptămână, înainte de a cheltui 15 mii

Priviți acest material ca pe un ghid gratuit de la practicieni: util pentru început și discuții interne, insuficient ca unică bază pentru o decizie strategică. Luni dimineață, o casă de avocatură cu 180 de angajați, o arhivă de 900.000 de contracte și opinii juridice. Furnizorul de cloud vine cu oferta: antrenăm LLM pe terminologia proprie, preț de pornire de la 15.000 PLN. Înainte de aprobarea bugetului, este nevoie de o săptămână de analiză internă. Aceasta va arăta dacă modificarea ponderilor modelului are sens sau dacă o căutare mai eficientă este suficientă.

AIImagine generată de AI.

Fine-tuningul nu înseamnă memorarea documentelor. Antrenarea modifică ponderile modelului: sistemul adoptă stilul și formatul dorit, dar continuă să preia faptele din surse externe. Când peste 90% dintre sarcini implică identificarea unui pasaj, citarea și rezumarea unui text existent, RAG este de regulă suficient: modelul primește documentul în context și indică sursa. Temeiul legal pentru prelucrarea datelor cu caracter personal este definit de GDPR, iar cerințele de documentare pentru sistemele cu grad ridicat de risc sunt stabilite de AI Act.

Ce se poate implementa în această săptămână

Pasul unu: alegeți un singur proces repetitiv în care contează formatul, nu căutarea: prima versiune a unui act adițional, raportul lunar de audit, descrierea tehnică a unei oferte. Necesită 2 ore din timpul directorului de departament. Pasul doi: colectați 80 de perechi instrucțiune–răspuns din ultimele trei luni, fără date cu caracter personal; 6 ore de lucru pentru un analist. Pasul trei: pregătiți 20 de cazuri de testare și o grilă simplă de evaluare: conformitatea formatului, corectitudinea sursei, timpul necesar corecturii; 2 ore pentru un specialist QA. Pasul patru: rulați un sistem RAG de bază pe aceste 20 de cazuri, folosind baza curentă de documente și un motor vectorial gratuit; 8 ore pentru un inginer IT. Pasul cinci: calculați tokenii pentru cele 80 de perechi și extrapolați costul QLoRA și API la 500 de perechi; 1 oră pentru CTO. În total: 19 ore de lucru, 0 PLN buget adițional.

Ce nu trebuie făcut din prima etapă

Prima reacție este adesea trimiterea întregii arhive către un API pentru reantrenare. De regulă, aceasta este o greșeală: datele cu caracter personal și secretele comerciale ajung într-un sistem extern, iar ștergerea unor înregistrări individuale din ponderile modelului este dificilă din punct de vedere tehnic. În cazul datelor cu caracter personal, este adesea necesară o evaluare a impactului, conform instrucțiunilor UODO. Fine-tuningul nu reprezintă memorie factuală: modelul antrenat poate genera în continuare halucinații, doar că în stilul companiei. Achiziția unui GPU A100 înainte de testarea RAG este prematură, iar costul continuu de mentenanță al versiunii modelului depășește adesea costul infrastructurii GPU. Promisiunea că modelul va „asimila documentele” duce la rezultate nesatisfăcătoare, aceasta fiind sarcina bazei de date vectoriale. Pornirea cu 50.000 de exemple înainte de validarea a 500 de perechi acumulează datorie tehnică pe date, fără a aduce vreun avantaj competitiv.

AIImagine generată de AI.

Cum verificați funcționarea după două săptămâni

După două săptămâni de teste RAG pe 20 de documente, măsurați un singur indicator: procentul de documente validate fără corectură de fond. Dacă rezultatul atinge 80% sau mai mult, iar fiecare răspuns include sursa corectă, fine-tuningul nu este justificat pe moment: problema a fost rezolvată prin retrieval, nu prin crearea unui model nou. Dacă indicatorul scade sub 60%, problema provine din date, nu din arhitectură; în acest caz, opriți antrenarea și reveniți la curățarea bazei și standardizarea documentelor.

Dacă după testare se dovedește că RAG este suficient, HEXART vă ajută să construiți baza vectorială și fluxul de documente cu citarea surselor. Dacă este necesară reantrenarea, pregătim setul de antrenare, versionarea metricilor și pachetul de evaluare, astfel încât schimbarea modelului de bază să nu afecteze implementarea. Gama de servicii este disponibilă pe hexart.pl.