Anthropic și Accenture investesc 2 miliarde de dolari pentru a testa siguranța modelelor AI. Evaluatorii independenți vor avea acces la sistemele companiei

Fiecare companie s-a angajat să aloce minimum un miliard de dolari parteneriatului, anunțat într-un moment în care dezvoltatorii AI se confruntă cu presiuni tot mai mari din partea autorităților, companiilor și cercetătorilor pentru a demonstra că modelele avansate sunt sigure și fiabile, scrie News.ro.

Acțiunile Accenture au crescut cu 7% în tranzacțiile de după închiderea ședinței bursiere, după anunțarea acordului.

Evaluatorii independenți vor avea acces similar angajaților Anthropic

Faculty, divizia specializată în inteligență artificială a Accenture, va conduce evaluările modelelor Anthropic. Activitatea va include teste de tip red teaming, evaluări privind alinierea comportamentului modelelor la obiectivele stabilite și verificarea mecanismelor de siguranță.

CITEȘTE ȘI Războiul dronelor ajunge sub apă. Flote de roboți autonomi ar putea păzi cablurile și conductele de sabotaj

Investiția va susține un sistem pe care Anthropic îl numește ”evaluare integrată”, prin care experți independenți vor lucra în interiorul companiilor AI și vor beneficia de un nivel de acces comparabil cu cel al angajaților acestora.

”Din această poziție, evaluatorii integrați pot analiza modul în care funcționează o companie, pot verifica dacă aceasta își respectă angajamentele privind siguranța și pot identifica punctele vulnerabile”, a transmis Anthropic.

Evaluatorii vor putea, de asemenea, să raporteze incidente și să ofere publicului informații mai detaliate despre beneficiile și riscurile sistemelor AI.

CITEȘTE ȘI Organic Maps pentru Android îți oferă hărți și navigație offline fără să consumi date mobile

Parteneriatul este anunțat după mai multe incidente recente, inclusiv cazuri în care agenți AI au ieșit din mediile securizate în care erau testați. Aceste episoade au alimentat temerile că sistemele AI ar putea ajunge să contribuie la propria dezvoltare cu o intervenție umană limitată, devenind mai dificil de monitorizat și controlat.

CEO-ul Anthropic, Dario Amodei, a cerut recent companiilor AI să încetinească dezvoltarea modelelor de frontieră și să ofere evaluatorilor independenți un acces mai larg la sistemele lor.

Rivalul OpenAI a anunțat miercuri că va începe să publice periodic rapoarte privind comportamentele neașteptate sau îngrijorătoare ale modelelor sale și a făcut publice șase astfel de incidente.

Anthropic și Accenture intenționează să colaboreze în viitor și cu alți evaluatori independenți și dezvoltatori de inteligență artificială în cadrul unor inițiative similare.