A șaptea dimensiune

În timp ce OpenAI deschide calea dezvoltării AI (Artificial Intelligence – Inteligenţă Artificială), mulți au acuzat Google că a rămas în urmă. Pentru a nu fi mai prejos, Google a lansat un nou Large Language Model (LLM), PaLM 2, la conferința Google I/O din 2023.

Pregătit să vină în patru variante (dimensiuni) diferite, pentru o gamă largă de aplicații, noul LLM al Google se pare că alimentează deja mai multe servicii Google, urmând a fi folosit pentru multe altele în viitor.

Ce este PaLM 2?

La Conferinţa anuală Google I/O 2023, care a avut loc pe 10 mai 2023, CEO-ul Google, Sunda Pichai, a dezvăluit cel mai recent PaLM 2.

Prescurtare de la Pathways Language Model 2, LLM actualizat de la Google este a doua iterație a PaLM, prima versiune fiind lansată în aprilie 2022. Nu vă amintiți PaLM? Ei bine, la acea vreme, a fost ceva cu totul nou şi a stârnit un mare interes. Doar că, după șase luni, apare GPT-3.5 de la OpenAI, cel care folosea PaLM.

De atunci, OpenAI a lansat GPT-4, o actualizare masivă a GPT-3.5. Cu toate acestea, în timp ce noul model este integrat în numeroase instrumente, în special în Bing AI Chat de la Microsoft, Google vizează să ajungă, sau chiar să depşească, OpenAI și GPT-4 cu PaLM 2.

Google a anunțat că PaLM 2 va veni în patru variante (dimensiuni) diferite de model: Gecko, Otter, Bison și Unicorn.

Gecko este atât de ușor încât poate funcționa pe dispozitive mobile și este suficient de rapid pentru aplicații interactive grozave pe dispozitiv, chiar și atunci când este offline. Folosind această versatilitate, PaLM 2 poate fi ajustat pentru a sprijini clase întregi de produse în mai multe moduri, pentru a ajuta mai mulți oameni.

Având în vedere că Gecko poate procesa aproximativ 20 de jetoane pe secundă — jetoanele sunt valorile atribuite cuvintelor reale pentru a fi utilizate de modelele AI (Artificial Intelligence – Inteligenţă Artificială) — se pare că va schimba regulile jocului pentru instrumentele AI implementabile pe mobil.

Date de antrenament PaLM 2

Google nu a comunicat foarte multe informaţii despre datele de antrenament ale PaLM 2, lucru de înțeles având în vedere că tocmai a fost lansat. Dar în Google’s PaLM 2 Report este precizat că se dorește ca PaLM 2 să aibă o înțelegere mai profundă a matematicii, logicii și științei și că o mare parte din corpul său de instruire s-a concentrat pe aceste subiecte.

Când Google a prezentat prima variantă de PaLM, în 2022, a confirmat că a fost instruit pe 540 de miliarde de parametri, care la acea vreme era o cifră colosală.

Se presupune că GPT-4 de la OpenAI folosește peste un 1000 de miliarde de parametri, unele speculații punând această cifră la 1700 de miliarde. Cum Google dorește ca PaLM 2 să concureze direct cu LLM-urile OpenAI, va prezenta, cel puțin, o cifră comparabilă, dacă nu mai mult.

Un alt impuls semnificativ pentru PaLM 2 îl reprezintă datele de instruire lingvistică. Google a instruit PaLM 2 în peste 100 de limbi pentru a-i oferi o mai mare profunzime și înțelegere contextuală și pentru a crește capacitățile de traducere.

Dar nu sunt doar limbi vorbite. Proiectul Google pentru PaLM 2 este şi acela de a oferi un raționament științific și matematic mai bun. De aceea, LLM a fost, de asemenea, instruit în peste 20 de limbaje de programare, ceea ce îl face un atu fenomenal pentru programatori.

PaLM 2 alimentează deja serviciile Google, dar necesită încă nişte ajustări

Nu va trece mult până când vom pune mâna pe PaLM 2 și vom vedea ce poate face. Sperăm că lansarea de aplicații și servicii PaLM 2 nu se va lăsa aşteptată foarte mult.

Dar este posibil să fi folosit deja (din punct de vedere tehnic!) PaLM 2. Google a confirmat că PaLM 2 este deja implementat și utilizat în 25 dintre produsele sale, inclusiv Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets și multe altele.

Dar raportul PaLM 2 dezvăluie că mai sunt de făcut nişte ajustări, în special pentru răspunsuri toxice într-o serie de limbi.

De exemplu, atunci când i se cere în mod specific solicitări toxice, PaLM 2 generează răspunsuri toxice într-un procent mai mare de 30%.

Indiferent cât de mult încearcă cercetătorii să curețe datele de formare LLM, este inevitabil că nu pot fi eliminate în totalitate răspunsurile toxice. Următoarea fază este de a continua antrenamentul PaLM 2 pentru a reduce aceste răspunsuri toxice.

Large Language Model (LLM) pare să schimbe paradigma viitorului

OpenAI nu a fost primul care a lansat un Large Language Model (LLM), dar modelele sale GPT-3, GPT-3.5 și GPT-4 au aprins şi au făcut din AI (Artificial Intelligence – Inteligenţă Artificială) un proiect ce a crescut exponenţial în ultima perioadă.

PaLM 2 de la Google are unele probleme de rezolvat, dar faptul că este deja utilizat în mai multe servicii Google arată încrederea pe care o are compania în ultimul său Large Language Model (LLM).

Sursa informaţiilor: Make Use Of (MUO).

Citeşte şi articolele:

• Modelul LLaMA (Large Language Model Meta AI) este oferit gratuit cercetătorilor din domeniul AI (Artificial Intelligence – Inteligenţă Artificială)
• Viitorul IT-ului: câte ceva despre chatbot
• 7 aplicații AI (Artificial Intelligence – Inteligenţă Artificială) impresionante
• Chatbot-urile AI (Artificial Intelligence – Inteligenţă Artificială): alternative interesante la ChatGPT
• Microsoft Teams Premium are integrat GPT-3.5 de la OpenAI