Cum funcționează ChatGPT? Cum poate ChatGPT să răspundă la întrebări?

marți, februarie 21, 2023 18:32
Posted in category IT

ChatGPT

ChatGPT, chatbot-ul AI creat OpenAI, este inovaţia cu cea mai rapidă creştere din toate timpurile. Într-un timp foarte scurt a cucerit Internetul, lumea IT-ului (Information Technology- Tehnologia Informaţiei) şi pare să nu se oprească din răspândirea exponenţială în toate domeniile.

Dar cum poate ChatGPT să răspundă la întrebări? Cum funcționează ChatGPT?

Cum a fost creat ChatGPT?

Pentru a înțelege cum funcționează ChatGPT, merită să ne uităm la originile și la creierul din spatele chatbot-ului AI (Artificial Intelligence – Inteligenţă Artificială).

În primul rând, oricât de magic ar părea ChatGPT, a fost construit de geniul oamenilor, la fel ca orice tehnologie software. OpenAI a creat ChatGPT, compania revoluționară de cercetare și dezvoltare AI din spatele altor instrumente AI puternice precum DALL-E, InstructGPT și Codex.

În timp ce ChatGPT a devenit viral spre sfârșitul anului 2022, cea mai mare parte a tehnologiei de bază care alimentează ChatGPT există de mult mai mult timp, deși cu mult mai puțină publicitate. Modelul ChatGPT este construit pe GPT-3 (sau, mai precis, GPT-3.5). GPT înseamnă „Generative Pre-trained Transformer 3”.

GPT-3 este a treia iterație a liniei GPT de modele AI și a fost precedată de GPT-2 și GPT. Iterațiile anterioare ale modelelor GPT sunt la fel de utile, dar GPT-3 și iterația GPT-3.5 fin reglată sunt mult mai puternice. Majoritatea a ceea ce ChatGPT poate face se datorează tehnologiei GPT-3 de bază.

Ce este GPT?

Aşadar, am stabilit că ChatGPT este construit pe a treia generație a modelului GPT. Dar, oricum, ce este GPT?

Să începem prin a traduce acronimele într-un mod ușor de înţeles și non-tehnic.

  • „Generative” (Generativ) în GPT reprezintă capacitatea sa de a genera text în limbajul uman natural.
  • „Pre-trained” (Pre-antrenat) reprezintă faptul că modelul a fost deja antrenat pe un set de date finit. La fel cum ați citi o carte sau poate mai multe cărți despre un subiect înainte de a vi se cere să răspundeți la întrebări din acel subiect.
  • „Transformer” reprezintă arhitectura de bază a învăţării automate care alimentează GPT.

Acum, punând totul cap la cap, Generative Pre-Trained Transformer (GPT) este un model de limbaj care a fost antrenat folosind date de pe internet cu scopul de a genera text în limbaj uman atunci când este prezentat cu un prompt. Deci, am spus în mod repetat că GPT a fost antrenat, dar cum a fost antrenat?

Cum a fost instruit ChatGPT?

ChatGPT în sine nu a fost antrenat de la zero. În schimb, este o versiune reglată fin a GPT-3.5, care în sine este o versiune reglată fin a GPT-3. Modelul GPT-3 a fost antrenat cu o cantitate masivă de date colectate de pe internet. Gândiți-vă la Wikipedia, Twitter și Reddit – a fost alimentat cu date și text colecţionat din toate colțurile internetului.

Dacă vă întrebați cum funcționează antrenamentul GPT, GPT-3 a fost antrenat folosind o combinație de învățare supravegheată și Reinforcement Learning through Human Feedback (RLHF) – Învățare prin consolidare prin feedback uman. Învățarea supravegheată este etapa în care modelul este antrenat pe un set mare de date de text extras de pe internet. Etapa RLHF este cea în care este antrenat pentru a produce răspunsuri mai bune care se aliniază cu ceea ce oamenii ar accepta ca fiind atât asemănătoare omului, cât și corecte.

Antrenament cu învățare supravegheată

Pentru a înțelege mai bine cum se aplică învățarea supravegheată și de întărire la ChatGPT, imaginați-vă un scenariu în care un elev este învățat să scrie un eseu de către un profesor. Învățarea supravegheată ar fi echivalentul faptului că profesorul îi oferă elevului sute de eseuri de citit. Scopul aici este ca elevul să învețe cum ar trebui scris un eseu, obișnuindu-se cu tonul, vocabularul și structura a sute de eseuri.

Cu toate acestea, vor fi bune și rele printre acele sute de eseuri. Deoarece studentul a fost instruit atât pentru copii bune, cât și pentru cele rele, uneori, elevul ar putea scrie un eseu prost, deoarece elevul a fost alimentat și cu eseuri proaste la un moment dat. Aceasta înseamnă că atunci când i se cere să scrie un eseu, elevul poate scrie o copie care nu este acceptabilă sau suficient de bună pentru profesor. Aici intervine învățarea prin întărire.

Antrenament cu Reinforcement Learning (învățare de întărire)

Odată ce profesorul stabilește că elevul înțelege regulile generale de redactare a eseurilor citind sute de eseuri, profesorul îi va oferi elevului teme frecvente pentru redactarea eseurilor. Ulterior, profesorul va oferi feedback cu privire la temele de scriere a eseului, spunându-le elevilor ce au făcut bine și ce ar putea îmbunătăți. Elevul folosește feedback-ul pentru a ghida temele ulterioare de scriere a eseurilor, ajutându-l să se îmbunătățească în timp.

Aceasta este similară cu etapa de învățare prin consolidare a antrenării modelului GPT. După ce a fost alimentat cu o cantitate masivă de text de pe internet, modelul poate răspunde la întrebări. Cu toate acestea, precizia sa nu va fi suficient de bună. Formatorii umani pun modelului o întrebare și oferă feedback cu privire la răspunsul care este mai potrivit pentru fiecare întrebare.

Modelul folosește feedback-ul pentru a-și îmbunătăți capacitatea de a răspunde la întrebări mai precis și mai mult folosind modul în care ar răspunde un om. Acesta este modul în care ChatGPT poate genera răspunsuri care sună uman, care sunt atât coerente, captivante și, în general, precise.

Cum poate ChatGPT să răspundă la întrebări?

Așadar, vizitați site-ul web ChatGPT și vă conectați. Solicitați ChatGPT: „Compuneţi o piesă rap în stilul lui Snoop Dogg”. Răspunde cu versuri la o piesă rap care arată izbitor de asemănător cu ceea ce ar scrie Snoop Dogg. Cum este posibil acest lucru?

Ei bine, „magia” din spatele ChatGPT se leagă perfect de antrenamentul său.

După ce ați studiat foarte bine un subiect pentru examen, există șanse mari să puteți răspunde la orice întrebare care vi se va adresa. De ce? Pentru că ai citit și ai învățat. Este același lucru cu ChatGPT – învață. Și așa cum a arătat civilizația umană, cu suficientă pregătire, rezolvarea aproape oricărei probleme este posibilă.

Accentul aici este pus pe „prevăd”. ChatGPT nu răspunde la întrebări la fel ca noi ca oameni. De exemplu, când te confrunți cu o întrebare de genul „Care este capitala Portugaliei?” ai putea spune Lisabona în mod direct. Cu toate acestea, ChatGPT nu răspunde la întrebări cu certitudine 100%. În schimb, încearcă să prezică răspunsul corect având în vedere datele pe care le-a consumat în setul de date de antrenament.

Abordarea ChatGPT pentru a răspunde la întrebări

Pentru a înțelege mai bine conceptul de predicție a răspunsurilor, imaginați-vă că ChatGPT este un detectiv însărcinat să rezolve o crimă. Detectivului i se prezintă dovezi, dar nu știu cine a comis crima și cum s-a întâmplat. Cu toate acestea, cu suficiente dovezi, detectivul poate „descrie” cu mare acuratețe cine este responsabil pentru crimă și cum a fost comisă crima.

După ce consumă date de pe internet, ChatGPT renunță la datele originale și stochează conexiunile neuronale sau modelele pe care le-a învățat din date. Aceste conexiuni sau modele sunt ca niște dovezi pe care ChatGPT le analizează atunci când încearcă să răspundă la orice solicitare.

Deci, teoretic, ChatGPT este ca un detectiv foarte bun. Nu știe cu siguranță care ar trebui să fie faptele unui răspuns, dar încearcă, cu o acuratețe impresionantă, să prezică o secvență logică a textului în limbajul uman care să răspundă cel mai potrivit la întrebare. Așa obțineți răspunsuri la întrebările dvs.

Și acesta este și motivul pentru care unele dintre aceste răspunsuri par foarte convingătoare, dar sunt îngrozitor de greșite.

ChatGPT: Răspunde ca un om, gândește ca o mașină

Detaliile tehnice de bază ale ChatGPT sunt complexe. Cu toate acestea, dintr-un punct de vedere rudimentar, funcționează prin învățarea și reproducerea a ceea ce a învățat atunci când este solicitat, la fel cum facem noi ca oameni.

Pe măsură ce ChatGPT evoluează prin cercetare, modul în care funcționează s-ar putea schimba. Cu toate acestea, principiile sale fundamentale de lucru vor rămâne aceleași pentru o perioadă, cel puțin până când apare o nouă tehnologie revoluţionară.

Sursa informaţiilor: Make Use Of (MUO).

Citeşte şi articolele:

Sigla A7
Dacă ţi-a plăcut articolul, ai ceva de completat sau ai ceva de reproşat (civilizat) la acest text, scrie un comentariu, ori pune un link pe site-ul (blogul) tău, în cazul în care vrei ca şi alţii să citească textul sau (obligatoriu) dacă ai copiat articolul parţial sau integral. După ce ai scris comentariul, acesta trebuie aprobat de administratorul site-ului, apoi va fi publicat.
Tags:

Adauga un comentariu