Cele mai noi și mai performante modele lingvistice lansate de OpenAI halucinează mai mult decât versiunile anterioare, iar compania nu înțelege de ce.
OpenAI a lansat în urmă cu doar câteva zile modelele o3 și o4-mini, despre care compania spune că sunt cele mai performante modele cu raționament, acestea putând inclusiv să proceseze imagini în procesul de raționare.
Însă, aceleași modele halucinează mai mult decât versiunile anterioare, iar asta a surprins compania, obișnuită ca nivelul de halucinații să scadă de la o generație la alta.
Testele realizate intern de companie au arătat că halucinațiile au crescut cu 33% în cazul lui o3 și cu 48% în cazul lui o4-mini - ceea reprezintă o creștere exponențială și îngrijorătoare.
o3, conform acelorași teste, are și tendința de a inventa acțiunile realizate în procesul de raționare - acesta spune că a folosi anumite principii logice pe care în realitate nu le-a folosit pentru a ajunge la concluzia prezentată utilizatorului.
Și mai îngrijorător este faptul că inginerii companiei nu înțeleg ce s-a întâmplat și nu pot explicat de unde vine această creștere masivă a halucinațiilor.
„Ipoteza noastră este că tipul de învățare prin întărire utilizat pentru modelele din seria o amplifică problemele care sunt de obicei atenuate prin tehnicile aplicate post-antrenament” spune cei de la OpenAI pentru TechCrunch.
Termenul de halucinație este folosit în acest domeniu pentru a descrie tendința AI-ului de a inventa informații, ceea ce duce la răspunsuri neconforme cu realitatea.
