Ilgo konteksto DI: kodėl greitis tampa nauju galvos skausmu

Svarbiausia

• Kas yra ilgo konteksto DI? Tai modeliai ir sistemos, galintys vienu metu dirbti su didesniu teksto, dokumentų ar duomenų kiekiu.
• Kodėl ilgas kontekstas gali būti lėtas? Modelis turi apdoroti daugiau informacijos, o dėmesio mechanizmas tampa skaičiavimo požiūriu brangus.
• Kaip sumažinti ilgo konteksto kainą? Tvarkyti dokumentus, naudoti paiešką, santraukas ir modeliui duoti tik tai, kas reikalinga užduočiai.

Ilgo konteksto DI atrodo kaip dovana. Įkeli daug dokumentų, sutartis, tyrimus, susitikimų transkriptus, visą projekto istoriją ir sakai: „dabar suprask“. Atvirai? Skamba labai viliojančiai.

Bet tada prasideda realybė. Kuo daugiau konteksto duodi modeliui, tuo daugiau jam reikia apdoroti. Ir tada klausimas tampa ne tik „ar jis supras“, bet ir „kiek lauksiu“ bei „kiek tai kainuos“.

NVIDIA liepos 31 d. rašė apie dėmesio mechanizmo ir modelių projektavimą greitesniam ilgo konteksto darbui. Techninė tema, bet kasdienė pasekmė paprasta: jeigu DI turi dirbti interaktyviai, jis negali galvoti kaip žmogus sekmadienio popietę po pietų.

Ilgas kontekstas nėra nemokamas

Ilgas kontekstas leidžia modeliui matyti daugiau informacijos vienu metu. Tai naudinga teisininkams, finansininkams, analitikams, produktų komandoms, vadovams. Visiems, kurie dirba ne su vienu paragrafu, o su kalnu medžiagos.

Bet daugiau informacijos reiškia daugiau darbo. Modelis turi nuspręsti, į ką žiūrėti, ką laikyti svarbiu, ką ignoruoti. Dėmesio mechanizmas čia yra viena brangiausių dalių.

Jei viską darai grubiai, gauni lėtą sistemą. O lėtos sistemos žmonės nenaudoja. Jie pabando du kartus, tada grįžta prie seno būdo ir sako: „DI dar nepribrendo“.

Verslui reikia ne demo, o ritmo

Demo gali veikti lėtai. Susitikime visi kantrūs, nes naujovė. Realus darbas kitoks. Jei žmogus derina sutartį, ruošia pasiūlymą ar tikrina klientų skundus, jam reikia ritmo.

Paklausiau – gavau. Patikslinau – gavau. Pakeičiau kryptį – sistema sureagavo.

Jei tarp kiekvieno žingsnio yra ilga pauzė, mąstymo srautas nutrūksta. Čia kaip kalbėtis su žmogumi, kuris į kiekvieną klausimą atsako po trijų minučių. Gal jis labai protingas. Bet norisi eiti kavos.

Ne viską reikia kišti į kontekstą

Praktinė pamoka: ilgas kontekstas nėra kvietimas sumesti viską. Dažnai geriau pirmiausia atsirinkti informaciją, suskaidyti dokumentus, turėti paiešką, indeksus, santraukas ir tik tada duoti modeliui tai, ko reikia.

DI projektų klaida – tikėtis, kad modelis pats sutvarkys netvarkingą informacijos sandėlį. Kartais sutvarko. Kartais prisirenka nereikalingų detalių ir atsako užtikrintai, bet pro šalį.

Tvarka prieš DI vis dar laimi.

Ką daryti šią savaitę

Jei tavo įmonė nori naudoti DI su dideliais dokumentais, pradėk nuo mažo testo. Paimk 10 realių dokumentų. Ne idealių. Realių, su keistais pavadinimais ir žmogišku formatavimu.

Tada patikrink tris dalykus: ar atsakymai teisingi, kiek laiko užtrunka, kiek kainuoja viena užduotis. Jei šitų skaičių nėra, sprendimas remsis nuojauta.

Nuojauta gera renkantis kavą. DI diegime geriau turėti skaičius.