Kas yra konteksto langas ir kodėl 1 milijonas tokenų keičia viską, ką žinojai apie DI
·
Kiekvieną kartą, kai kalbi su DI — su ChatGPT, Claude ar Gemini — vyksta kažkas, apie ką retai pagalvoji.
DI tavo pokalbio neatsimena taip, kaip žmogus atsimena vakar nutikusį įvykį. Jis „mato” tik tai, kas yra jo konteksto lange šiuo momentu. Kai tas langas baigiasi — DI tiesiog nebežino, apie ką jūs kalbėjote pradžioje.
Tai gali skambėti kaip techninė detalė. Bet iš tikrųjų tai yra vienas svarbiausių veiksnių, lemiantis ką DI gali ir negali padaryti.
Kas tai yra: paaiškinu be techninio žargono
Įsivaizduok, kad bendrauji su žmogumi, kuris turi ypatingą atmintį: jis tobulai prisimena visą jūsų pokalbį — bet tik tol, kol pokalbis neviršija tam tikro puslapių skaičiaus. Kai tik viršija — viskas nuo pradžios pradingsta. Jis mato tik paskutinius X puslapių.
Tas „X puslapių” ir yra konteksto langas.
Techniniai DI kūrėjai šį langą matuoja tokenais. Tokenas — tai maždaug ¾ vidutinio anglų kalbos žodžio arba apie 3-4 lietuviški simboliai. Paprastai sakant — 1 000 tokenų ≈ 750 žodžiai.
Taigi:
- 4 000 tokenų = maždaug vienas straipsnis ar 5 el. laiškai
- 100 000 tokenų = nedidelė knyga arba mėnesio korespondencija
- 1 000 000 tokenų = visas Tolkieno „Žiedų valdovas” + dar lieka vietos
Kodėl tai kažkada buvo rimta problema
Pirmosiose DI versijose konteksto langai buvo labai maži — 2 000–4 000 tokenų. Praktiškai tai reiškė: paprašei DI išanalizuoti ilgą dokumentą — jis perskaitė tik pradžią. Paprašei tęsti ilgą pokalbį — jis „pamiršo” ankstesnius susitarimus ir pradėjo nuo kito kampo.
Tai buvo tikra problema. Jei rašai promtus ir bandai dirbti su dideliais dokumentais — greičiausiai bent kartą pajautei šį apribojimą. DI „pamiršta” kontekstą, kartoja save ar pateikia nesuderintas rekomendacijas.
Problema kilo iš to, kaip DI architektūra veikia: kiekvieną kartą apdorodamas naują tekstą, modelis turi „apdoroti” visą kontekstą iš naujo. Kuo didesnis kontekstas — tuo daugiau skaičiavimų reikia, tuo brangesnis ir lėtesnis yra atsakymas.
1 milijonas tokenų: kas tai reiškia praktiškai
Šiandien situacija kardinaliai pasikeitė. Šių metų modeliai — Claude Opus 4.7, Google Gemini 2.5 Ultra, ir neseniai minėtas Qwen 3.7 Max — visi siūlo iki 1 milijono tokenų konteksto langą.
Ką tai reiškia tau praktiškai?
Dokumentų analizė: Gali įkelti visą teisės aktą, metinę ataskaitą ar knygą ir paprašyti DI išanalizuoti konkrečią detalę. DI „matys” viską — ne tik fragmentą.
Ilgi projektai: Programuotojai gali perduoti DI visą didelį kodo bazę. DI gali suprasti, kaip viena funkcija veikia su kitomis, ne tik pavieniui.
Pokalbiai be „amnezijos”: Galima turėti labai ilgą pokalbį su DI ir jis prisimins tai, apie ką kalbėjai prieš valandą — ne tik prieš 5 minutes.
Daugialypiai dokumentai: Palygink kelias ataskaitas, sutartis ar studijas — DI gali laikyti visas jas „galvoje” vienu metu ir rasti skirtumus bei ryšius.
Bet ar didesnis langas visada geriau?
Čia ateina svarbus niuansas, kurį ne visi žino.
Teoriškai — taip. Praktiškai — ne visada.
Tyrėjai pastebėjo reiškinį, vadinamą „lost in the middle” problema: kai konteksto langas labai didelis, DI dažnai geriausiai „prisimena” informaciją iš pradžios ir pabaigos. Vidurinis turinys kartais pametamas arba gauna mažiau dėmesio.
Tai nereiškia, kad didelis langas nenaudingas. Bet reiškia, kad svarbu strategiškai struktūruoti tai, ką perduodi DI: svarbiausias kontekstas — pradžioje arba pabaigoje.
Taip pat — didelis kontekstas kainuoja. Kiekvieną kartą, kai apdorojamas milžiniškas tekstas, skaičiavimų kaina auga. Todėl nėra prasmės į konteksto langą kimšti visko, kas kada nors buvo parašyta — geriau rinktis relevantišką informaciją.
Kaip tai veikia kartu su DI atmintimi?
Čia dažnai kyla painiava: konteksto langas ≠ ilgalaikė atmintis.
Kontekstas yra tai, ką DI „laiko” vieno pokalbio metu. Kai uždari langą ir atidari naują — viskas pradingsta. DI nežino, kad kalbėjotės vakar.
Ilgalaikė atmintis — tai atskiras mechanizmas, kurį DI kūrėjai papildomai stato. Pvz., ChatGPT „Memory” funkcija arba Claude Projects — tai ne kontekstas, bet išsaugota informacija tarp pokalbių.
Jei nori suprasti giliau, kaip DI apskritai mokosi, rekomenduoju perskaityt kaip veikia mašininis mokymasis — tai labai gerai paaiškina šias sąvokas.
Praktinis patarimas: kaip išnaudoti konteksto langą geriau
Keletas konkrečių dalykų, kuriuos gali padaryti jau šiandien:
- Pradžioje pateik kontekstą — paaiškink DI, kas tu esi, ką darai, kokio atsakymo tikiesi. Tai „sąnaudos” nedaug tokenų, bet dramatiškai gerina rezultatą.
- Nekartok to, kas jau pasakyta — DI „mato” visą pokalbį. Nereikia kiekvieną kartą priminti to paties.
- Ilgiems dokumentams — naudok struktūrą — jei perduodi didelį tekstą, pažymėk svarbiausias vietas arba primink DI, kur ieškoti esmės.
- Stebėk, kad neviršytum limito — kai kurių įrankių kontekstas ribotas. Jei DI pradeda kartotis ar „pamiršinėti” — tai ženklas, kad langas pilnas.
O jei kada pastebėsi, kad DI pateikia keistus ar netikslūs atsakymus — gali būti, kad tai ne haliucinacija, o konteksto problema. Apie tai, kaip skirti viena nuo kito, rašiau DI haliucinacijų vadove.
Konteksto langas — tai viena tų technologijų dalykų, apie kuriuos nereikia žinoti kiekvienam vartotojui. Bet kai supranti, kaip tai veikia — DI tampa daug labiau valdomas įrankis. Ne „magiška dėžė”, o sistema su konkrečiomis galimybėmis ir apribojimais.
O tai, mano galva, yra pats sveikiausias santykis su bet kokia technologija.
