A șaptea dimensiune

Ce este GPT4All și cum funcționează

luni, iulie 17, 2023 17:49

Posted in category IT

OpenAI, compania ce a creat cel mai de succes chatbot AI (Artificial Intelligence – Inteligenţă Artificială), ChatGPT, oferă utilizatorilor acces la inteligenţa artificială doar online şi, pentru opţiuni complete, contra-cost.

Există însă şi variante AI offline, adică instalarea unei aplicaţii locale, pe dispozitivul folosit de fiecare dintre noi. Una dintre aceste variante este GPT4All.

GPT4All a fost creat de Nomic AI, o companie de cartografiere a informațiilor, care își propune să îmbunătățească accesul la resursele AI.

GPT4All este proiectat să ruleze pe computere de nivel mediu, fără a avea nevoie de o conexiune la internet sau chiar de un GPU! Acest lucru este posibil deoarece majoritatea modelelor furnizate de GPT4All au fost cuantificate pentru a fi de doar câțiva gigaocteți, necesitând doar memorie de 4–16 GB RAM pentru a rula.

De ce să alegem GPT4ALL în loc de ChatGPT

Iată câteva argumente.

Portabilitate. GPT4ALL poate fi instalat pe orice computer cu memorie RAM de minim 4 GB, iar toate datele pot fi salvate pe o unitate flash USB (stick).
Confidenţialitate şi securitate. Conversaţiile cu chatbot-ul având loc pe dispozitivul local, nicio companie nu le poate folosi în alte scopuri.
Modul offline. Nu avem nevoie de acces la Internet pentru a interoga şi accesa chatbot-ul GPT4ALL.
Open source, adică gratuit. Putem folosi modelul şi pentru uz comercial, fără a fi nevoie să plătim licenţa.

Cum funcționează GPT4All

GPT4All este un ecosistem folosit pentru a antrena și a implementa LLM local, ceea ce este o performanță incredibilă! De obicei, încărcarea unui LLM standard de 25-30 GB ar necesita 32 GB RAM și un GPU de nivel enterprise.

Pentru a compara, LLM-urile pe care le puteți folosi cu GPT4All necesită doar 3 GB – 8 GB spațiu de stocare și pot rula pe 4 GB – 16 GB RAM. Acest lucru face posibilă rularea unui întreg LLM pe un dispozitiv de vârf fără a avea nevoie de un GPU sau de asistență cloud externă.

Cerințele hardware pentru rularea LLM-urilor pe GPT4All au fost reduse semnificativ datorită cuantizării rețelei neuronale. Prin reducerea greutății de precizie și a activărilor într-o rețea neuronală, multe dintre modelele oferite de GPT4All pot fi rulate pe majoritatea computerelor relativ moderne.

Prin antrenarea modelului Groovy de către Nomic AI și folosind date disponibile public, Nomic AI a reușit să lanseze modelul pe o licență GPL deschisă, care permite oricui să-l folosească, chiar și pentru aplicații comerciale.

Cum se instalează GPT4All

Se descarcă aplicaţia de aici, apoi se instalează ca orice alt soft.

După ce aţi instalat aplicaţia, când o folosiţi prima dată, trebuie să selectaţi un model de utilizat. GPT4ALL vă oferă mai multe modele, toate având punctele lor forte și punctele slabe. Dacă vreţi să alegeţi în cunotinţă de cauză, se studiază puţin, prin comparaţie, modelele oferite.

Rețineți că modelele furnizate au niveluri diferite de restricții. Nu toate modelele pot fi folosite gratuit; unii vor avea nevoie de mai multe resurse hardware, în timp ce alții vor avea nevoie de o cheie API. Cele mai puțin restrictive modele disponibile în GPT4All sunt Groovy, GPT4All Falcon și Orca.

Modelele GPT4All se pot antrena?

Da, dar nu și versiunile cuantificate. Pentru a regla eficient modelele GPT4All, trebuie să descărcați modelele brute și să utilizați GPU-uri de nivel enterprise, cum ar fi acceleratoarele Instinct de la AMD sau GPU-urile Ampere sau Hopper de la NVIDIA. În plus, va trebui să antrenați modelul printr-un cadru de instruire AI precum LangChain, care va necesita anumite cunoștințe tehnice.

Reglarea fină a unui model GPT4All va necesita niște resurse monetare, precum și unele cunoștințe tehnice, dar dacă doriți doar să furnizați date personalizate unui model GPT4All, puteți continua antrenamentul modelului prin generarea augmentată de recuperare (care ajută un model de limbă să acceseze și să înțeleagă informații din afara pregătirii sale de bază pentru a îndeplini sarcini). Puteți face acest lucru solicitând GPT4All să modeleze datele dvs. personalizate înainte de a pune o întrebare. Datele personalizate ar trebui să fie salvate local și, atunci când vi se solicită, modelul ar trebui să vă poată furniza informațiile pe care le-ați dat cândva.

Ar trebui să utilizăm GTP4All?

GPT4All este o platformă gratuită și open-source, unde utilizatorii pot rula modele de limbaj mari pe computerele lor. În prezent, GPT4All și modelele sale cuantificate sunt excelente pentru a experimenta, învăța și încerca diferite LLM-uri (Large Language Model) într-un mediu securizat. Pentru sarcinile profesionale, vă recomandăm în continuare utilizarea ChatGPT, deoarece modelul este mult mai capabil.

În general, nu există niciun motiv pentru care ar trebui să ne limităm la un singur model AI (Artificial Intelligence – Inteligenţă Artificială). Deoarece modul lor de utilizare nu se suprapune, ar trebui să încercăm să le utilizăm pe ambele.

Sursa informaţiilor: Make Use Of (MUO).

Citeşte şi articolele:

Dacă ţi-a plăcut articolul, ai ceva de completat sau ai ceva de reproşat (civilizat) la acest text, scrie un comentariu, ori pune un link pe site-ul (blogul) tău, în cazul în care vrei ca şi alţii să citească textul sau (obligatoriu) dacă ai copiat articolul parţial sau integral. După ce ai scris comentariul, acesta trebuie aprobat de administratorul site-ului, apoi va fi publicat.

Tags: ai, artificial intelligence, chatbot, chatgpt, gpt4all, inteligenta artificiala, llm, openai

Adauga un comentariu

Recomandările zilei

Maxima zilei

Când statul român înseamnă şi foşti comunişti + foşti ofiţeri de Securitate, este clar că avem de-a face cu un stat neocomunist. (Dumitru Căruntu, admin-ul site-ului „A şaptea dimensiune”)

Poza zilei

Unul dintre cele mai controversate situaţii legate de evenimentele petrecute în urmă cu 25 de ani la Timişoara este cea cu privire la generalul în rezervă Vasile Paul, acuzat că ar fi tras şi ucis mai mulţi revoluţionari. O tânără a descoperit cu oroare, în 2007, că cel care îl ştia drept ucigaşul tatălui său, este profesor titular în cadrul la Facultatea de Ştiinţe Politice din cadrul Universităţii de Vest, unde ea îşi făcea masterul.

Tatăl Geaninei Jugănaru fost împuşcat mortal în seara zilei de 17 decembrie 1989, în Calea Girocului. Magistraţii militari susţin că, în 17 decembrie 1989, la ora 20.30, maiorul Paul Vasile coordona misiunea de recuperare a trei transportoare blindate, blocate de demonstranţi. Ordinele erau clare – împuşcarea celor care manifestau împotriva regimului Ceauşescu.

Avea 10 ani la Revoluţie

Geanina Jugănaru avea 10 ani în decembrie 1989 când tatăl ei, Dumitru Jugănaru, a fost împuşcat în faţă blocului, pe Calea Girocului, azi Calea Martirilor. Glonţul a venit din dispozitivul militar condus de maiorul Paul Vasile, devenit între timp general în Armata Română.

„Era 17 decembrie 1989. Eram acasă cu fratele meu, care avea atunci 12 ani, iar eu – 10 ani. Auzeam împuşcături. Ne-am uitat pe geam şi l-am văzut pe tatăl meu şi încă două persoane, întinse pe trotuar. Am coborât şi l-am găsit pe tatăl meu mort, împuşcat în cap. Mama era plecată la ţară. Vecinii au luat corpul tatălui meu şi l-au pus pe masă din bucătăria apartamentului nostru. Noi, copiii, am dormit la vecini. Plângeam fără să ne putem opri. Ne-au dat calmante. Mama a venit a două zi”, a povestit Geanina Jugănaru, cu lacrimi în ochi, pentru jurnaliştii EVZ.

Potrivit Virginiei Jugănaru, mama Geaninei, un fost coleg de Academie Militară cu Paul Vasile, Bujor Petru, vecin cu Dumitru Jugănaru, a strigat să nu tragă în civili. Paul Vasile însă l-ar fi împins şi i-ar fi spus că are ordin să tragă. „Mi-a zis că, dacă nu plec, mă împuşcă şi pe mine. Am fost împins în curtea casei, cordonul de militari a deschis focul şi s-a tras în plin în demonstranţi”, declara Bujor Petre.

După Revoluţie a avansat în carieră

Evenimentele din decembrie 1989 l-au găsit pe Paul Vasile comandant al Regimentului 90 Mecanizat Lugoj, cu gradul de maior. După 1990 şi după succesive înaintări în grad, Paul Vasile a ajuns general de brigada.Până în 2004 a fost şef al Direcţiei de Planificare Strategică din cadrul Marelui Stat Major.

În 2005 a fost titularizat că profesor universitar la Academia Militară din Bucureşti. „Eu sunt creierul efortului de integrare al României în structurile NATO”, declara el în 2005.

În acelaşi an, fostul director al Şcolii de Înalte Studii Europene şi Comparative (SISEC) al Universităţii de Vest Timişoara, Grigore Silasi, fost secretar PCR pe universitate, a cerut Academiei Militare transferul unui cadru didactic care să predea geostrategie. Aşa a devenit Paul Vasile conferenţiar.

În 2007, printr-o hotărâre a Senatului Universităţii, SISEC a intrat în structura Facultăţii de Ştiinţe Politice, iar Paul Vasile a devenit profesor titular al acestei facultăţi. Prezenţa profesorului Paul Vasile în mediul academic timişorean a fost contestată de Asociaţia Memorialul Revoluţiei şi de Grupul de Reforma Universitară. A fost trimis chiar un memoriu preşedintelui Traian Băsescu prin care s-a cerut imperativ eliminarea activiştilor de partid şi a membrilor fostei Securităţ din structurile de conducere ale societăţiii româneşti postdecembriste. În cele din urmă socitatea civilă a reuşit să îndrepte această nedreptate. Cu toate acestea, generalul Vasile Paul nu a ajuns să fie încă judecat. (Sursa informaţiilor: evz.ro)

Citește, analizează, discerne

Grigore Gheba, matematicianul genial luat prizonier de ruşi şi interzis de comunişti

Botoşani: doar 10% din populaţia activă (18 – 65 ani) este angajată legal

Decalogul manipulării practicată de foştii securişti şi comunişti

De ce simpatizanţii comunismului criminal nu sunt creştini

Ruşii, aceşti criminali care au adus numai lacrimi şi suferinţă pe unde au trecut

Trolii KGB-istului criminal Vladimir Putin au invadat Internetul

Rusia a devenit proprietatea criminalului KGB-ist Putin

În România, infractorii sunt decoraţi de Iohannis

Într-o ţară comunistă ca România, Ion Iliescu nu va fi condamnat niciodată

Criminalii Statului Islamic pun copiii să îşi ucidă părinţii

Ce este GPT4All și cum funcționează

Adauga un comentariu

Categorii

Ce mai citesc eu ...

Recomandările zilei