DI testai ir galvosūkiai: modeliai klumpa ten, kur vaikui aišku
·
DI testai kartais atrodo kaip cirkas: duodi modeliui galvosūkį ir žiūri, kur jis paslys.
MIT Technology Review publikavo užduotis, kuriose DI modeliai vis dar daro keistas klaidas. Ne todėl, kad jie beverčiai. Todėl, kad gražus atsakymo tonas gali paslėpti labai paprastą nesupratimą.
Čia yra pamoka kiekvienam, kas darbe naudoja DI: pasitikėjimas be patikrinimo yra trumpas kelias į gėdą.
MODELIS GALI SKAMBĖTI PROTINGAI IR VIS TIEK KLYSTI
Didieji kalbos modeliai moka rašyti sklandžiai. Jie paaiškina, struktūruoja, sukuria įtikinamą sakinį. Bėda ta, kad įtikinamas sakinys nėra tas pats, kas teisingas samprotavimas.
Galvosūkiai ir loginės užduotys gerai parodo šį skirtumą. Modelis kartais pataiko, kartais pasirenka kelią, kuris skamba tvarkingai, bet griūva nuo vienos detalės.
Žmogui tai pažįstama. Kartais ir mes kalbame užtikrintai, kol kas nors paprašo parodyti skaičiavimą.
KODĖL TAI SVARBU DARBE
Jei DI rašo juodraštį ar padeda su idėjomis, klaida gali būti lengvai pataisoma. Jei DI analizuoja sutartį, finansus, medicininį tekstą ar techninę specifikaciją, klaidos kaina jau kitokia.
Todėl DI naudojimas turi turėti patikrinimo ritualą. Ne didelę biurokratinę sieną, o paprastą įprotį: paprašyti šaltinių, perskaičiuoti, palyginti, peržiūrėti žmogui.
DI neturi būti neklystantis, kad būtų naudingas. Bet žmogus turi žinoti, kur jis linkęs klupti.
PRAKTINIS TESTAS KOMANDAI
Paimkite vieną savo darbo užduotį ir duokite ją DI trims būdais: be konteksto, su geru kontekstu ir su prašymu paaiškinti žingsnius. Tada palyginkite rezultatus.
Dažnai pamatysite, kad modelio kokybė labai priklauso nuo užduoties formuluotės ir tikrinimo. Ne vien nuo modelio pavadinimo.
Tai ir yra DI raštingumas. Ne žinoti visus įrankius. O mokėti suprasti, kada atsakymas vertas pasitikėjimo.
FAQ
Kodėl DI modeliai klysta galvosūkiuose?
Jie generuoja tikėtinus atsakymus pagal išmoktus dėsningumus, bet ne visada stabiliai atlieka loginį samprotavimą.
Ar tai reiškia, kad DI nenaudingas?
Ne. Tai reiškia, kad DI atsakymus reikia tikrinti, ypač kai sprendimas turi didesnę kainą.
Kaip tikrinti DI atsakymą?
Paprašykite žingsnių, šaltinių, alternatyvaus sprendimo ir palyginkite rezultatą su patikimu šaltiniu ar žmogaus peržiūra.
Šaltinis: MIT Technology Review.
Šiandien pabandykite vieną DI atsakymą ne priimti, o patikrinti. Tai maža praktika, bet ji labai greitai atskiria žaidimą nuo darbo.
