Vals DI vertinimai: modelių lenktynėms reikia nepriklausomo teisėjo

DI vertinimai tampa ne akademiniu žaidimu, o labai praktišku verslo klausimu.

Kai rinkoje kas savaitę atsiranda naujas modelis, vadovui sunku suprasti, kas iš tikro geriau. Vienas modelis gražiau rašo. Kitas pigesnis. Trečias geriau koduoja. Ketvirtas pristatyme atrodo kaip stebuklas, o pirmame realiame procese pradeda klupti.

TechCrunch rašo apie Vals AI, Andreessen Horowitz remiamą startuolį, kuris nori tapti patikimesniu DI modelių testavimo standartu. Kitaip tariant, rinkai reikia teisėjo, kuriuo pasitikėtų ne tik patys žaidėjai.

KODĖL LABORATORIJŲ TESTŲ NEBEUŽTENKA

DI kūrėjai mėgsta rodyti lenteles, kur jų modelis keliais punktais lenkia konkurentą. Ant popieriaus viskas gražu. Problema ta, kad įmonėje modelis neveikia ant popieriaus. Jis atsakinėja klientui, skaito sutartį, ruošia kodą arba padeda žmogui priimti sprendimą.

Ten prasideda kiti klausimai. Ar modelis stabilus? Ar jis saugiai atsisako rizikingų užklausų? Ar nekuria gražiai skambančių nesąmonių? Ar kaina atitinka rezultatą?

Tokiems klausimams reikia testų, kurie primena realų darbą, o ne tik gražią demonstraciją.

VERSLUI REIKIA PAPRASTESNIO ATSAKYMO

Daug įmonių dabar renkasi modelius pagal garsiausią vardą. Tai normalu pirmame etape. Bet kai DI įrankiai eina į procesus, reikia ramesnio būdo palyginti.

Vals AI kryptis įdomi tuo, kad bando kurti neutralesnį vertinimą. Ne „mūsų modelis geriausias“, o „štai kaip jis elgiasi šiame konkrečiame darbe“.

Čia kaip su automobiliu. Vienam svarbus greitis, kitam kuro sąnaudos, trečiam talpa. Visi trys atsakymai gali būti teisingi, jei žinai, kam renkiesi.

KĄ DARYTI KOMANDOJE

Prieš keičiant DI modelį, verta susirašyti penkis savo testus. Ne abstrakčius. Iš realaus darbo: klientų laiškas, sutarties ištrauka, techninė klaida, pardavimo scenarijus, vidinis dokumentas.

Tada tą patį darbą duoti keliems modeliams ir lyginti ne pagal įspūdį, o pagal rezultatą. Tikslumas, tonas, kaina, greitis, saugumas.

Nuobodu? Šiek tiek. Bet būtent taip DI iš žaislo tampa darbo įrankiu.

FAQ

Kas yra DI vertinimai?

Tai metodai ir testai, kuriais lyginama, kaip DI modeliai atlieka konkrečias užduotis, kiek klysta ir kiek kainuoja jų naudojimas.

Kodėl nepriklausomas vertinimas svarbus?

Jis padeda įmonėms remtis ne vien modelių kūrėjų pažadais, o palyginamais rezultatais realioms užduotims.

Kaip įmonei pradėti vertinti modelius?

Reikia paimti kelis tikrus darbo pavyzdžius, išbandyti juos su skirtingais modeliais ir palyginti rezultatą pagal aiškius kriterijus.

Šaltinis: TechCrunch.

Jei renkatės DI modelį komandai, pradėkite nuo savo testų rinkinio. MasterSprint padeda tai susidėti taip, kad sprendimas nebūtų vien pagal jausmą.