Ce este GPT4All și cum funcționează
luni, iulie 17, 2023 17:49OpenAI, compania ce a creat cel mai de succes chatbot AI (Artificial Intelligence – Inteligenţă Artificială), ChatGPT, oferă utilizatorilor acces la inteligenţa artificială doar online şi, pentru opţiuni complete, contra-cost.
Există însă şi variante AI offline, adică instalarea unei aplicaţii locale, pe dispozitivul folosit de fiecare dintre noi. Una dintre aceste variante este GPT4All.
GPT4All a fost creat de Nomic AI, o companie de cartografiere a informațiilor, care își propune să îmbunătățească accesul la resursele AI.
GPT4All este proiectat să ruleze pe computere de nivel mediu, fără a avea nevoie de o conexiune la internet sau chiar de un GPU! Acest lucru este posibil deoarece majoritatea modelelor furnizate de GPT4All au fost cuantificate pentru a fi de doar câțiva gigaocteți, necesitând doar memorie de 4–16 GB RAM pentru a rula.
De ce să alegem GPT4ALL în loc de ChatGPT
Iată câteva argumente.
- Portabilitate. GPT4ALL poate fi instalat pe orice computer cu memorie RAM de minim 4 GB, iar toate datele pot fi salvate pe o unitate flash USB (stick).
- Confidenţialitate şi securitate. Conversaţiile cu chatbot-ul având loc pe dispozitivul local, nicio companie nu le poate folosi în alte scopuri.
- Modul offline. Nu avem nevoie de acces la Internet pentru a interoga şi accesa chatbot-ul GPT4ALL.
- Open source, adică gratuit. Putem folosi modelul şi pentru uz comercial, fără a fi nevoie să plătim licenţa.
Cum funcționează GPT4All
GPT4All este un ecosistem folosit pentru a antrena și a implementa LLM local, ceea ce este o performanță incredibilă! De obicei, încărcarea unui LLM standard de 25-30 GB ar necesita 32 GB RAM și un GPU de nivel enterprise.
Pentru a compara, LLM-urile pe care le puteți folosi cu GPT4All necesită doar 3 GB – 8 GB spațiu de stocare și pot rula pe 4 GB – 16 GB RAM. Acest lucru face posibilă rularea unui întreg LLM pe un dispozitiv de vârf fără a avea nevoie de un GPU sau de asistență cloud externă.
Cerințele hardware pentru rularea LLM-urilor pe GPT4All au fost reduse semnificativ datorită cuantizării rețelei neuronale. Prin reducerea greutății de precizie și a activărilor într-o rețea neuronală, multe dintre modelele oferite de GPT4All pot fi rulate pe majoritatea computerelor relativ moderne.
Prin antrenarea modelului Groovy de către Nomic AI și folosind date disponibile public, Nomic AI a reușit să lanseze modelul pe o licență GPL deschisă, care permite oricui să-l folosească, chiar și pentru aplicații comerciale.
Cum se instalează GPT4All
Se descarcă aplicaţia de aici, apoi se instalează ca orice alt soft.
După ce aţi instalat aplicaţia, când o folosiţi prima dată, trebuie să selectaţi un model de utilizat. GPT4ALL vă oferă mai multe modele, toate având punctele lor forte și punctele slabe. Dacă vreţi să alegeţi în cunotinţă de cauză, se studiază puţin, prin comparaţie, modelele oferite.
Rețineți că modelele furnizate au niveluri diferite de restricții. Nu toate modelele pot fi folosite gratuit; unii vor avea nevoie de mai multe resurse hardware, în timp ce alții vor avea nevoie de o cheie API. Cele mai puțin restrictive modele disponibile în GPT4All sunt Groovy, GPT4All Falcon și Orca.
Modelele GPT4All se pot antrena?
Da, dar nu și versiunile cuantificate. Pentru a regla eficient modelele GPT4All, trebuie să descărcați modelele brute și să utilizați GPU-uri de nivel enterprise, cum ar fi acceleratoarele Instinct de la AMD sau GPU-urile Ampere sau Hopper de la NVIDIA. În plus, va trebui să antrenați modelul printr-un cadru de instruire AI precum LangChain, care va necesita anumite cunoștințe tehnice.
Reglarea fină a unui model GPT4All va necesita niște resurse monetare, precum și unele cunoștințe tehnice, dar dacă doriți doar să furnizați date personalizate unui model GPT4All, puteți continua antrenamentul modelului prin generarea augmentată de recuperare (care ajută un model de limbă să acceseze și să înțeleagă informații din afara pregătirii sale de bază pentru a îndeplini sarcini). Puteți face acest lucru solicitând GPT4All să modeleze datele dvs. personalizate înainte de a pune o întrebare. Datele personalizate ar trebui să fie salvate local și, atunci când vi se solicită, modelul ar trebui să vă poată furniza informațiile pe care le-ați dat cândva.
Ar trebui să utilizăm GTP4All?
GPT4All este o platformă gratuită și open-source, unde utilizatorii pot rula modele de limbaj mari pe computerele lor. În prezent, GPT4All și modelele sale cuantificate sunt excelente pentru a experimenta, învăța și încerca diferite LLM-uri (Large Language Model) într-un mediu securizat. Pentru sarcinile profesionale, vă recomandăm în continuare utilizarea ChatGPT, deoarece modelul este mult mai capabil.
În general, nu există niciun motiv pentru care ar trebui să ne limităm la un singur model AI (Artificial Intelligence – Inteligenţă Artificială). Deoarece modul lor de utilizare nu se suprapune, ar trebui să încercăm să le utilizăm pe ambele.
Sursa informaţiilor: Make Use Of (MUO).
Citeşte şi articolele:
- Cum schimbă Inteligenţa Artificială (AI) căutarea pe Internet cu Bing şi Edge
- Viitorul IT-ului: câte ceva despre chatbot
- 7 aplicații AI (Artificial Intelligence – Inteligenţă Artificială) impresionante
- Chatbot-urile AI (Artificial Intelligence – Inteligenţă Artificială): alternative interesante la ChatGPT
- Microsoft Teams Premium are integrat GPT-3.5 de la OpenAI