DI agentams reikia greitos saugyklos: NVIDIA parodė skaičius
NVIDIA Vera testai primena paprastą dalyką: DI agentai lėtėja ne tik dėl modelio, bet ir dėl saugyklos.
Šiame straipsnyje · 5 dalys
- Kodėl DI agentams svarbi saugykla? Nes agentai nuolat skaito, rašo ir tikrina duomenis. Lėta saugykla lėtina visą užduotį.
- Kas yra DI gimtoji saugykla? Tai saugyklos architektūra, pritaikyta agentų, modelių, atminties ir didelių duomenų srautų darbui.
- Ar tai aktualu mažoms įmonėms? Taip, jei jos planuoja rimtesnius DI agentus su dokumentais, CRM, žinių bazėmis ar klientų duomenimis.
DI agentai dažnai pristatomi kaip skaitmeniniai kolegos. Gražu. Tik yra vienas mažas „bet“: kolega, kuris kas dvi minutes laukia failo, duomenų bazės arba atminties atsakymo, greitai tampa ne kolega, o stabdžiu.
NVIDIA rugpjūčio 3 d. paskelbė Vera saugyklos testus DI gimtosioms darbo apkrovoms. Tema techninė, bet verslo prasmė labai paprasta: kai agentai dirba su žiniomis, ilgalaike atmintimi, kvietimų istorija ir duomenų srautais, saugykla tampa aktyvia proceso dalimi.
Ne sandėliuku kampe. Variklio dalimi.
Agentas daug skaito
Įprastas pokalbių robotas gauna klausimą ir atsako. DI agentas daro daugiau: ieško dokumentuose, pasiima kontekstą, prisimena ankstesnius veiksmus, kviečia įrankius, rašo tarpinius rezultatus, tikrina save ir kartoja.
Kiekvienas toks žingsnis paliečia duomenis. Jei saugykla lėta, visas agentas lėtas. Jei šifravimas, glaudinimas ar atkūrimas stringa, agento „protas“ gali būti labai geras, bet naudotojo patirtis bus kaip laukiant, kol senas spausdintuvas pagaliau sugalvos spausdinti.
Kodėl tai rūpi ne tik it skyriui
Verslo vadovas gali sakyti: „čia technikų reikalas“. Suprantu. Bet tada ateina sąskaita.
Jei DI agentas klientų aptarnavime atsako 12 sekundžių, vietoj 2 sekundžių, žmonės pradeda spaudyti dar kartą. Jei pardavimų komanda laukia, kol agentas ištrauks CRM istoriją, jie grįžta prie rankinio darbo. Jei ataskaitų agentas generuoja dokumentą 20 minučių, niekas jo nenaudoja ryte prieš susitikimą.
Techninė detalė tampa verslo įpročiu. Arba kliūtimi.
Saugumas ir greitis negali pyktis
NVIDIA tekste daug dėmesio skiriama šifravimui, glaudinimui, vientisumo tikrinimui ir atkūrimui. Lietuviškai: duomenis reikia saugoti, spausti, tikrinti ir prireikus atstatyti.
DI projektuose kartais atsiranda pavojingas noras: „padarykim greičiau, saugumą sutvarkysim vėliau“. Ne. Vėliau dažnai reiškia tada, kai jau skauda.
Geras DI diegimas turi išlaikyti abu dalykus. Greitį ir tvarką. Jei agentas dirba su klientų dokumentais, sutartimis ar finansais, saugykla turi būti ne tik greita, bet ir pasiruošusi auditui.
Ką daryti praktiškai
Jei įmonė pradeda DI agentų projektą, verta užduoti kelis labai neblizgius klausimus.
- Kur agentas laikys darbo atmintį?
- Kiek dokumentų jis turės skaityti per vieną užduotį?
- Ar duomenys bus šifruojami?
- Kas nutiks, jei agento procesas nutrūks viduryje darbo?
- Kaip matuosime atsakymo laiką?
Skamba nuobodžiai. Bet būtent tokie klausimai apsaugo nuo brangaus žaislo, kuris gražiai atrodo demonstracijoje ir prastai dirba realybėje.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
