Un material semnat de Cristiana Grigorescu, Partner, Grigorescu, Cristiana & Associates, SCA și Lavinia Andrei, Senior Associate, Grigorescu, Cristiana & Associates, SCA
În ultimii ani, companiile se bazează tot mai mult pe instrumente de automatizare a activităților interne, utilizând tehnologii emergente, în special inteligența artificială. Aceste tehnologii sunt folosite pentru a prelua sarcini repetitive, precum trierea solicitărilor, extragerea informațiilor din documente, actualizarea unor baze de date, generarea de răspunsuri, asistarea deciziilor operaționale ori coordonarea unor fluxuri de lucru. Aceste sisteme marchează însă o etapă diferită de evoluție tehnologică față de sistemele care, până recent, erau cunoscute sub denumirea de „chatboti”.
În prezent, noile categorii de sisteme bazate pe inteligența artificială (AI), care încorporează modele generative AI (genAI) sunt utilizate la scară de către companii, fiind desemnate generic ca „AI agents / agenti AI”.
Diferența principală dintre „chatboti” și „agenti AI” este că un chatbot, chiar dacă are la bază tehnologii avansate, rămâne în esență o interfață conversațională: primește un mesaj și generează un răspuns într-o manieră predefinită.
Un agent AI, în schimb, este proiectat să urmărească un obiectiv și să execute sarcini în numele utilizatorului, cu un anumit grad de autonomie. Agenții AI folosesc modele lingvistice sau alte tehnologii AI pentru a gestiona execuția unui flux de lucru, pot apela instrumente externe, precum knowledge bases (baze de cunoștințe), API-uri sau baze de date, și pot decide dinamic ce acțiuni sunt necesare pentru atingerea rezultatului dorit.
Această distincție este esențială pentru companii, atât din perspectiva productivității și eficientizării costurilor, cât și pentru analiza juridică a riscurilor. Dacă un chatbot generează un răspuns eronat, acesta se poate datora unei baze de date sau unor configurări incomplete. Dacă un agent AI genereaza un astel de raspuns, eroarea se poate datora unei game mult mai diverse de cauze, cu consecința apariției riscurilor operaționale.
Aceste erori sunt cunoscute, în mod generic, drept halucinații AI. O halucinație AI apare atunci când agentul si sistemul de inteligenta artificiala (sistemul AI) pe care agentul se bazează, nu răspunde sau nu poate răspunde cu „nu știu” la un anumit prompt, si procedează la generarea unui rezultat care pare coerent, complet și credibil, dar care este fals, greșit, inventat sau nesusținut de surse verificabile. În concret, nu vorbim despre o simplă eroare de formulare a răspunsului, ci despre un conținut care creează aparența adevărului. Tocmai de aceea, pentru furnizorii de agenti AI, dar și pentru companiile care îi implementează în procese interne sau în interacțiuni cu clienții, halucinația devine un risc operațional, contractual, reputațional și de conformitate.
Deși riscul apariției halucinațiilor este prezent la orice tip de agent AI si sistem AI, la momentul actual, printre industriile cele mai afectate de halucinațiile Agenților AI se numără domeniul juridic, al sănătății, al dezvoltării de software, precum și de customer support.
Spre exemplu, o baza de date publică, care urmărește deciziile judiciare în care instanțele identifică ori presupun conținut halucinat, indică peste 1.400 de cazuri documentate la nivel mondial în care a fost reținut că sistemele si agenții AI pot halucina, respectiv că în numeroase litigii au fost depuse în susținerea pretențiilor documente realizate cu ajutorul agentilor si sistemelor AI care conțineau halucinații AI (e.g., precedente inexistente sau jurisprudență prezentată eronat). În domeniul juridic amintim că una dintre cele mai cunoscute societăți de avocatura de pe Wall-Street, New York, Statele Unite ale Americii a recunoscut în fața unei instanțe federale că a depus un document cu citări și formulări juridice inexacte generate de AI; instanțele din SUA au sancționat în ultimii ani mai mulți avocați pentru depunerea de memorii care conțineau citări fictive generate de instrumente bazate pe generative AI.
Un alt exemplu, din domeniul jurnalistic de această dată, este cel care a vizat publicația Chicago Sun-Times. Aceasta din urmă a retras un supliment editorial care recomanda cărți inexistente atribuite unor autori reali, materialul fiind generat cu ajutorul instrumentelor bazate pe generativeAI fără o verificare adecvată preliminară publicării.
În domeniul sănătății, un studiu realizat de un grup de profesori si studenți doctoranzi ai Cornell University, University of Washington, University of Virginia si New York University, a identificat 187 halucinații în peste 13.000 de înregistrări audio analizate, precum și în stenogramele scrise cu ajutorul agenților AI, fiind introduse informații care nu fuseseră rostite, inclusiv tratamente inexistente; de exemplu, un segment audio care conținea doar cuvintele „pick the bread and peanut butter” (în limba română, alege pâinea și untul de arahide) a fost transcris ca „Take the bread and add butter. In a large mixing bowl, combine the softened butter” (în limba romana, Luați pâinea și adăugați untul. Într-un vas mare, amestecați untul înmuiat). Practic o discuție despre produse alimentare a fost transformată de agentul AI într-o rețetă culinară. Conform articolelor apărute în presa din SUA, ca urmare a publicarii acestui studiu, tehnologiile erau folosite de peste 30.000 de clinicieni și 40 de sisteme medicale, deși furnizorul avertizase împotriva utilizării în contexte cu miză ridicată.
În software engineering, un studiul inițiat de un grup de cercetători si studenți doctoranzi ai University of Texas realizat pe 576.000 de mostre de cod generate de 16 sisteme AI, în limbajele de programare JavaScript si Python, a arătat că modelele recomandă frecvent pachete sau librării software inexistente, identificând peste 205.000 de nume unice inventate pentru pachete sau librării software (e.g., indicarea React-Codeshift ca pachet software, prin contopirea denumirilor a doua pachete software diferite, respectiv jscodeshift si react-codemod), transformând o eroare aparent banală într-un risc veritabil de securitate.
Un alt exemplu vizează compania Air Canada, care a fost obligată să despăgubească un client după ce chatbotul utilizat de companie i-a comunicat informații greșite despre politica tarifară. Totodată, Deloitte Australia a acceptat să ramburseze parțial prețul achitat de guvernul australian, care a contractat această firmă pentru efectuarea unei analize fiscale, având în vedere că raportul furnizat conținea erori și citări fictive asociate utilizării tehnologiilor AI. De menționat este si faptul că, atunci când Bard, sistemul AI al Google (Alphabet), a furnizat o informație greșită despre telescopul James Webb într-un material promoțional, acțiunile Alphabet au scăzut cu aproximativ 8% într-o singură zi.
Pentru companiile care dezvoltă sau implementează agenți AI, concluzia este că halucinația nu afectează doar acuratețea unui răspuns, ci, în funcție de scopul agentului AI, aceasta poate afecta și procesele interne, produsele software, relațiile contractuale, încrederea clienților și, în anumite situații, poate influența chiar evaluarea companiei.
Astfel, în materie de halucinații AI, principala întrebare nu mai este legată de probabilitatea ca sistemele bazate pe tehnologii AI sa emită răspunsuri eronate, ci mai degrabă cine ar trebui sa poarte răspunderea atunci când agentul AI inventează o politică comercială, un pachet software utilizat pentru generarea de cod software, o citare juridică eronata sau orice alt răspuns incorect. Cazurile prezentate mai sus relatează faptul că halucinația nu mai este doar un bug, ci reprezintă un risc operațional, de conformitate și de încredere, putând afecta în mod grav reputația celor care se bazează pe aceasta fără a efectua verificări suplimentare.
Determinarea actorului care poarta răspunderea pentru halucinațiile AI este o provocare, întrucât tehnologiile AI, in special cele care utilizează generative AI, se bazează pe raționament probabilistic, răspunsurile lor nu sunt nici pe deplin documentate sau verificabile.
Pentru a determina actorul care poarta răspunderea intr-un anumit scenariu, o distincție importantă trebuie făcută între cauzele potențiale ale halucinației, respectiv cauza sistemică și cea operațională. O halucinație are o cauza sistemică atunci când sursa erorii care a determinat halucinația se află în model, în datele de antrenament, în arhitectura sa, în integrarea cu instrumentele externe, în lipsa unor măsuri de siguranță si limitare a capacității modelului, sau în designul general al produsului. În astfel de cazuri, răspunderea juridică principala aparține furnizorului sau dezvoltatorului agentului si/sau modelului AI. În schimb, atunci când cauza unei halucinații este operațională, motivul apariției poate fi determinat de modalitatea de folosire a modelului AI. De exemplu, agentul AI este utilizat în afara scopului declarat, au fost ignorate limitările acestuia, au fost dezactivate filtrele si masurile de siguranță stabilite de furnizor/dezvoltator, au fost furnizate prompt-uri greșite sau a fost folosit un output sensibil fără verificare umană. În aceste situații, răspunderea aparține mai curând companiei care exploatează sistemul, respectiv utilizatorului agentului AI.
În același sens, principala răspundere aparține furnizorului in cazul in care halucinațiile sunt determinate de faptul ca agentul AI nu îndeplinește standardele tehnice și profesionale agreate sau specificațiile contractate sau daca datele de antrenament furnizate de dezvoltatorul sistemului sunt incorecte.
Pe de alta parte, răspunderea aparține utilizatorului sau exploatatorului agentului AI in cazul halucinațiilor agenților AI care sunt cauzate de o utilizare eronată sau contrara documentației tehnice a acestora.
Răspunderea poate deveni comună, atât a furnizorului/dezvoltatorului, cat si a utilizatorului/companiei care exploatează agentul AI atunci când halucinațiile sunt datorate unei testări insuficiente a produsului, anterior punerii acestuia pe piață. Acest lucru se datorează faptului ca, in practică, testarea use case-ului contractat este responsabilitatea comună a furnizorului si a companiei care exploatează produsul.
Pentru limitarea riscurilor si a răspunderii furnizorului sau a dezvoltatorului modelului AI, aceștia ar trebui sa avertizeze clar utilizatorii asupra riscurilor si limitărilor sistemelor puse la dispoziție. Astfel, este important pentru furnizorii de agenți AI sa transmită o documentație tehnica de utilizare clara, care sa conțină un disclaimer cu privire la acuratețea informațiilor generate si necesitatea monitorizării continue a agenților AI, de către compania care exploatează aceste sisteme. In orice caz, astfel de clauze nu exonerează întotdeauna furnizorul/dezvoltatorul agentului si sistemului AI, mai ales dacă se demonstrează ca halucinația a avut o cauza sistemica sau daca furnizorul/dezvoltatorul nu a furnizat o informare adecvata utilizatorului.
Totuși, această împărțire a răspunderii nu are întotdeauna limite clare. În practică, halucinațiile agenților AI si magnitudinea consecințelor acestora pot avea cauze mixte, precum utilizarea unui model predispus la răspunsuri speculative, o integrare tehnică necorespunzătoare, lipsa unei politici interne de utilizare a sistemelor AI a companiei care exploatează agentul AI sau angajați care nu verifica rezultatele generate de agenții AI.
Furnizorii/dezvoltatorii de agenți și sisteme AI trebuie sa adopte o practică de piață în care acțiunile cu miză ridicată nu ar trebui lăsate exclusiv la discreția sistemului, ci însoțite de intervenție umană, controale adecvate și mecanisme de limitare a autonomiei, întrucât astfel de mecanisme sunt relevante atât pentru siguranța operațională, cât și pentru reducerea riscului ca o halucinație să fie transformată automat într-o decizie, comunicare sau acțiune cu efecte juridice ori comerciale.
La rândul sau, Regulamentul UE privind inteligența artificială impune furnizorilor și utilizatorilor profesionali obligația de a asigura un nivel suficient de instruire in domeniul AI pentru persoanele care operează sau utilizează sisteme AI în numele lor, introduce cerințe privind transparența aplicabile majorității categoriilor de agenți AI, precum supravegherea umană și controlul riscurilor, pentru anumite categorii de sisteme. În practică, aceste exigențe confirmă că utilizarea responsabilă a agenților AI nu se reduce la performanța tehnica efectiva a modelului, ci presupune guvernanță, documentare, validare umană și controale proporționale cu miza deciziei automatizate in cauza.
În orice caz, reducerea riscurilor asociate utilizării agenților si sistemelor AI trebuie asumată de toți actorii implicați în lanțul de dezvoltare, furnizare, integrare și exploatare a acestor sisteme. Furnizorii/dezvoltatorii de agenți si sisteme AI ar trebui să pună la dispoziție politici clare și robuste privind utilizările permise, limitările sistemului, scenariile contraindicate și nivelul de supraveghere umană necesar. În egală măsură, aceștia ar trebui să livreze o documentație tehnică aplicată fiecărui use-case, instrucțiuni de utilizare suficiente și metodologii de testare agreate, inclusiv împreună cu companiile care achiziționează sau integrează agenții AI în propriile fluxuri operaționale. Fără această infrastructură contractuală, tehnică și operațională, riscul apariției halucinațiilor nu poate fi evaluat, controlat sau alocat în mod precis.
La rândul lor, companiile care utilizează agenți si sisteme AI trebuie să își construiască propriile mecanisme de gestionare internă. Profesioniștii nu ar trebui să livreze în producție cod, termeni contractuali, analize juridice, recomandări comerciale sau răspunsuri către clienți generate de agenți si sisteme AI, fără validare umană, testare și verificări suplimentare, proporționale cu miza operațiunii realizate. În practică, aceasta presupune politici interne privind utilizările permise și interzise ale agenților si sistemelor AI, programe de instruire pentru angajați, fluxuri de aprobare pentru use case-urile cu impact juridic sau financiar, utilizarea unor surse interne controlate, înregistrarea adecvata a operațiunilor realizate prin intermediul unui agent AI (logging) și supraveghere umană pentru operațiunile sensibile.
La fel de important este răspunsul post-incident, care trebuie adaptat nivelului sau de gravitate. Atunci când o halucinație a unui agent AI produce efecte si in afara organizației, compania care utilizează agentul AI ar trebui să aibă un plan clar de acțiune, precum limitarea sau suspendarea agentului, conservarea log-urilor, identificarea cauzei (i.e., sistemică sau operațională), remedierea erorii și corectarea informației transmisă persoanelor afectate. În paralel, trebuie evaluat dacă incidentul implică date personale, obligații contractuale de notificare, raportare către autorități sau măsuri de informare a consumatorilor. Răspunsul post-incident se bazează, în esență, pe trei piloni: documentare, remediere și comunicare.
Companiile trebuie să se asigure că sistemele lor informatice înregistrează automat toate evenimentele relevante — cu alte cuvinte, să existe o „urmă digitală” a tot ceea ce se întâmplă în sistem (cine a accesat informații, când și ce acțiuni a efectuat). Fără această înregistrare automată, în momentul în care survine un incident de securitate nu există nicio modalitate de a reconstitui ce s-a întâmplat și care a fost cauza acestuia. Iar dacă nu se poate stabili cauza, nu se poate stabili nici cine este responsabil. Această lipsă de claritate are consecințe concrete: costurile incidentului cresc, remedierea lui devine mai dificilă, iar explicarea situației către autorități, clienți și public devine aproape imposibilă.
In orice caz, gestionarea halucinațiilor AI este o lecție de neocolit pentru companiile care dezvoltă, furnizează sau utilizează agenți și sisteme AI. Prin monitorizarea erorilor generate de aceste sisteme, furnizorii/dezvoltatorii își pot îmbunătăți continuu modelele, datele de antrenament, bazele de cunoștințe și mecanismele de protecție, reducând treptat riscul utilizării produselor oferite. Ne așteptăm ca următoarele generații de agenți AI să fie mai robuste și mai sigure; până atunci, însă, companiile trebuie să adopte o abordare precauta și să mențină supravegherea umană acolo unde erorile pot produce consecințe juridice, financiare sau reputaționale semnificative.
În materie de răspundere, este esențial sa fie create mijloacele necesare pentru a determina cauza halucinației, inclusiv prin utilizarea unor mecanisme contractuale si proceduri operaționale adecvate, respectiv pentru a distinge intre cauzele sistemice și cele operaționale ale halucinațiilor. Atunci când halucinația derivă dintr-o eroare tehnică (e.g., un model incorect antrenat sau un bug) responsabilitatea aparține în principal furnizorului/dezvoltatorului agentului si/sau sistemului AI. În schimb, atunci când halucinația este rezultatul unei utilizări neconforme, al unui prompt greșit, al ignorării documentației tehnice sau al lipsei verificării umane, răspunderea se apropie de compania care a implementat și exploatat agentul AI.
Prin urmare, o abordare precauta in furnizarea si utilizarea agenților AI presupune mai mult decât adoptarea unei tehnologii performante. Ea presupune implementarea unor termeni și condiții clare, a unor politici interne robuste privind utilizările permise și interzise ale agenților AI, instruirea angajaților, audit periodic, protocoale pentru operațiuni critice și proceduri de răspuns la incidente. Spre exemplu, utilizarea agenților și sistemelor AI de către profesioniștii din domeniul juridic ar trebui realizată într-o manieră responsabilă, în limitele scopului declarat al agentului AI și ale capacităților comunicate de furnizorul agentului sau al modelului AI. Referințele juridice sugerate, textele citate, raționamentele și concluziile generate de agentul AI nu ar trebui preluate ca atare, ci verificate prin raportare la surse legitime, precum legislația, jurisprudența sau doctrina aplicabile. În concret, instrumentele bazate pe inteligență artificială pot fi utile pentru sarcini punctuale, precum structurarea argumentațiilor, rezumarea documentelor sau verificarea formei textului. Prin urmare, utilizarea tehnologiilor bazate pe inteligența artificială nu ar trebui să substituie analiza profesională și verificarea umană a rezultatului final.
O astfel de abordare, deși nu elimină complet riscul halucinațiilor, îl face gestionabil și facilitează atribuirea răspunderii din punct de vedere juridic. În final, protejează atât furnizorii/dezvoltatorii agenților AI, cât și companiile care exploatează agenții AI și consumatorii afectați de deciziile sau comunicările generate cu ajutorul acestor sisteme.
Un material Legal Marketing
