Un studiu independent arată că modelul lingvistic Gemini, dezvoltat de Google, nu este, în realitate, atât de performant precum îl laudă gigantul american.
În mai multe rânduri, Google a susținut că Gemini poate realiza sarcini imposibile anterior în ceea ce privește analizarea informațiilor din documente lungi.
Printre altele, Google a spus că Gemini este foarte bun în a înțelege și a rezuma documente care au sute de pagini sau în a căuta informații în cadrul scenelor din filme, de exemplu.
Studiul, realizat de Universitatea din Massachusetts, a ajuns la concluzia că, Gemini nu înțelege cu adevărat contextul documentelor.
Atât Gemini 1.5 Pro, cât și Gemini 1.5 Flash au mari dificultăți în a răspunde corect pe marginea documentelor. În fapt, conform studiului, acestea au oferit răspunsuri corecte în 40% - 50% din cazuri.
Concluziile studiului contrazic afirmațiile șefilor Google. De exemplu, Oriol Vinyals, șeful cercetării de la Deep Mind, companie deținută de Google, a spus într-o conferință de presă că Gemini 1.5 Pro „realizează sarcini de raționament pentru fiecare pagină și fiecare cuvânt dintr-un document.”
Dacă lucrurile ar sta așa într-adevăr, atunci, Gemini ar fi trebuit să aibă un procent mult mai mare de răspunsuri corecte pe marginea informațiilor cuprinse în documente lungi.
