Într-un studiu realizat de Școala de Medicină Clinică a Universității Cambridge, modelul lingvistic GPT-4, dezvoltat de OpenAI, a obținut rezultate aproape la fel de bune precum experții din oftalmologie.
Studiul a suspus unui examen simulat mai multe modele lingvistice, printre care GPT-4, PaLM 2 și LlaMA. Alături de acestea, la aceleași 87 de întrebări cu răspunsuri multiple au mai răspuns cinci oftalmologi experți, trei oftalmologi stagiari și doi medici juniori nespecializați.
Întrebările au survenit dintr-un manual pentru testarea stagiarilor, care nu a fost făcut public anterior, astfel că modelele lingvistice nu au putut fi deja antrenate pe baza acestora.
Dintre modelele lingvistice, cel mai bine a răspuns GPT-4, care a dat 60 de răspunsuri corecte dintr-un total de 87. Acesta a fost urmat de PaLM 2, dezvoltat de Google. Cu doar 28 de răspunsuri corecte, LlaMA, creat de Meta, a stat cel mai slab.
GPT-4 s-a plasat, ca rezultate, peste stagiarii care au obținut o medie de 59,7, dar sub experții oftalmologi, care au avut o medie a răspunsurilor corecte de 66,4.
În ciuda, rezultatelor bune obținute de GPT-4, specialiștii avertizează că folosirea modelelor lingvistice în acest domeniu vine cu riscuri și îngrijorări. În primul rând, întrebările au acoperit doar anumite categorii de cunoștințe, iar, în al doilea rând, halucinațiile modelelor lingvistice le pot face pe acestea să inventeze răspunsuri.
