Kas yra LLM ir kaip dirbtinio intelekto modelis iš tikrųjų mokosi
·
Tau prabilo telefono asistentas. ChatGPT atsakė į sudėtingą klausimą per kelias sekundes. Claude paruošė pranešimo juodraštį per kelias minutes. Visi jie turi vieną bendrą bruožą – jų širdyje sukasi technologija, vadinama LLM, arba Large Language Model lietuviškai dideliu kalbos modeliu.
Bet kas konkrečiai yra LLM? Kaip jis mokosi suprasti tave? Ir kodėl per pastaruosius trejus metus tai tapo svarbiausia technologija pasaulyje? Šiame straipsnyje viską paaiškinsim paprastai, be matematikos, tačiau ir be paviršutiniškumo.
LLM paprastai – kas tai per žvėris
Didelis kalbos modelis yra programa, kuri buvo apmokyta atspėti, kuris žodis greičiausiai bus kitas tekste.
Tai skamba primityviai, tačiau būtent toks paprastas tikslas atskleidžia neįtikėtiną sudėtingumą. Norint gerai atspėti kitą žodį, modeliui reikia suprasti gramatiką, žinoti faktus, atpažinti kontekstą, suprasti emocijas, mokėti samprotauti.
Įsivaizduok, kad sėdėtum ir žiūrėtum, kaip vaikas mokosi kalbėti. Iš pradžių jis bando pakartoti garsus. Vėliau supranta žodžius. Po to suvokia frazes. Galiausiai pradeda kurti mintis. LLM eina tuo pačiu keliu, tik per kelias savaites apdoroja daugiau teksto, nei žmogus perskaito per visą gyvenimą.
Kaip mokomas modelis
Šis procesas susideda iš trijų pagrindinių etapų.
Pirmasis etapas – pre-training arba pirminis mokymas. Modeliui parodomi milijardai puslapių teksto. Knygos, Wikipedia, naujienos, akademiniai straipsniai, internetinės diskusijos. Beveik viskas, kas yra rašytinio teksto pavidalu, paduodama modeliui. Jis mato vieną žodžių seką po kitos ir mokosi nuspėti, kas seka toliau.
Šis etapas užtrunka savaites ar mėnesius ir kainuoja dešimtis ar šimtus milijonų dolerių. Tai paaiškina, kodėl Big Tech kompanijos investuoja šimtus milijardų dolerių į DI infrastruktūrą.
Antrasis etapas – fine-tuning arba tikslinis pritaikymas. Po pirminio mokymo modelis žino daug, bet nemoka tinkamai bendrauti. Jam reikia papildomo mokymo, kad išmoktų atsakyti į klausimus, sekti instrukcijas, vengti pavojingų temų.
Šio etapo metu žmonės kuria pavyzdžius. „Vartotojas paklausė X, geras atsakymas yra Y”. Modelis mokosi, kaip elgtis, kaip reaguoti, kada atsisakyti.
Trečiasis etapas – RLHF arba mokymas iš žmogaus grįžtamojo ryšio. Tai paskutinis šlifavimo etapas. Žmonės-anotatoriai vertina modelio atsakymus. Šis variantas geras, šis blogas, šis labai geras. Modelis mokosi balansuoti tarp informacijos tikslumo, naudingumo ir saugumo.
Skaičiai, kurie nustebina
Šiuolaikiniai LLM yra didžiuliai sistemos.
- GPT-4 turi maždaug 1.7 trilijono parametrų. Parametrai yra skaitiniai svoriai, kurie nustato, kaip modelis sprendžia.
- Claude Opus, GPT-5.5 ir naujausi modeliai sukasi panašiose dydžio kategorijose.
- Modelio mokymas reikalauja tūkstančių specializuotų lustų, dirbančių sinchroniškai mėnesius.
- Vienas treniravimo ciklas suvalgo tiek elektros, kiek didelis miestas vartoja per kelis mėnesius.
Šie skaičiai paaiškina, kodėl tik kelios kompanijos pasaulyje gali sau leisti kurti tikrai didelius modelius. Pradėjome matyti naują strategiją – specializuoti pigesni modeliai, kurie neima tiek išteklių, bet geba spręsti specifines užduotis.
Kaip LLM iš tikrųjų supranta
Esminis klausimas – ar LLM tikrai supranta, ar tik atmintinai kartoja paskaitytą medžiagą?
Atsakymas yra niekur tarp dviejų polių. LLM nesigodi prasme taip, kaip žmogus. Jis neturi sąmonės, asmeninės patirties ar valios. Jis veikia kaip ypač sudėtinga statistinė sistema.
Bet drauge LLM gali padaryti tai, kas atrodo kaip tikras supratimas. Jis sujungia faktus iš skirtingų sričių, sprendžia matematines problemas, rašo kūrybinį tekstą, paaiškina sudėtingas idėjas paprastai.
Mokslininkai vis dar diskutuoja, ar tai yra tikras supratimas, ar tik labai pažangus mėgdžiojimas. Praktiniam vartotojui šis filosofinis klausimas dažnai mažiau svarbus už faktą, kad rezultatas naudingas.
Kodėl LLM kartais meluoja
Vienas svarbiausių LLM trūkumų – haliucinacijos. Modelis užtikrintai sako kažką, kas yra netiesa.
Priežastis paprasta. Modelis treniruojamas atspėti tikėtinausią žodį. Kartais tikėtinausias žodis yra ne tas, kuris yra teisingas. Modelis nesako sau „aš nežinau”, jis tiesiog sukuria tinkamiausiai skambantį atsakymą.
Naujausi tyrimai rodo įdomų paradoksą – protingesni modeliai kartais meluoja dažniau, ne rečiau. Priežastis – jie geba sukurti įtikinamesnius netiesos atsakymus.
Todėl naudojant LLM svarbu visada tikrinti faktus, ypač kai kalba apie skaičius, datas, citatas ar specifines žinias.
Kuo skiriasi LLM nuo bendro DI
Daugelis žmonių painioja terminus.
- DI (dirbtinis intelektas) – bendras terminas visoms technologijoms, kurios mėgdžioja žmogaus protą.
- Mašininis mokymasis – DI šaka, kurioje sistemos mokosi iš duomenų.
- Gilus mokymasis – mašininio mokymosi šaka, naudojanti dirbtinius neuroninius tinklus.
- LLM – giluminio mokymosi specializacija kalbos užduotims.
Trumpai, LLM yra dirbtinio intelekto medžio viena šaka, sutelkta į kalbos supratimą ir generavimą. Yra kitos šakos vaizdo atpažinimui, balso transkripcijai, robotikai ir kitiems uždaviniams.
Kaip pradėti naudoti LLM kasdien
Tau nereikia žinoti, kaip viduje veikia modelis, kad gautum naudą.
Pirmieji žingsniai paprasti.
- Pasirink modelį – Claude, ChatGPT arba Gemini.
- Pradėk nuo paprastų užduočių – dokumentų santrauka, el. laiškų rašymas.
- Mokykis kalbėti su modeliu – prompt engineering yra atskiras įgūdis.
- Visada tikrink rezultatą – LLM klysta, ypač detalėse.
- Plėsk naudojimą palaipsniui – prie sudėtingesnių užduočių pereik tik įgavęs patirties.
LLM ateitis
Per artimiausius dvejus trejus metus tikimasi keliais svarbiais pokyčiais.
Pirmiausia, modeliai taps mažesni ir efektyvesni. Šiandien mokyti LLM kainuoja milijardus, bet algoritmų pažanga rodo, kad galima pasiekti tą patį rezultatą su mažiau išteklių.
Antra, modeliai taps multimodaliniais. Jie ne tik suprasys tekstą, bet ir vaizdą, garsą, video. Tai ne tik dar viena galimybė, bet visiškai kitokia bendravimo paradigma.
Trečia, modeliai išmoks veikti savarankiškai – kaip agentinės DI sistemos. Dabartiniai LLM tik atsako į klausimus. Ateities modeliai patys planuos žingsnius ir vykdys užduotis.
Esmė
LLM yra technologija, kuri išmoko iš milžiniškų teksto kiekių atspėti, ką žmogus rašo toliau. Iš šio paprasto tikslo gimė technologija, kuri keičia, kaip dirbame, mokomės ir bendraujame.
Tau nereikia būti programuotoju, kad pasinaudotum jos jėga. Reikia tik smalsumo ir noro mokytis, kaip su DI kalbėtis. Geriausias pradžios būdas yra tiesiog pradėti.
