Model Profiler: kaip nesirinkti DI modelio pagal garsiausią vardą
·
DI modelio pasirinkimas skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS aprašė atviro kodo Model Profiler įrankį Amazon Bedrock aplinkai. Kitaip tariant: kaip pasirinkti DI modelį ne pagal tai, kuris dabar garsiausiai skamba LinkedIn, o pagal tai, kuris iš tikro tinka jūsų užduočiai.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
Model Profiler leidžia lyginti modelius pagal užduoties rezultatus, kainą, vėlavimą ir kitus praktinius kriterijus. AWS primena, kad Bedrock turi daugiau nei 100 foundation modelių iš skirtingų tiekėjų.
Čia kaip su automobiliais. Jei reikia vežti plytas, sportinis automobilis gali būti labai gražus, bet nelabai protingas pasirinkimas. Su DI modeliais tas pats: ne kiekvienai užduočiai reikia didžiausio modelio.
KODĖL TAI SVARBU
DI modelio pasirinkimas svarbus todėl, kad netinkamas modelis tiesiogiai kainuoja pinigus. Kartais permokate už galią, kurios nereikia. Kartais sutaupote ten, kur klaida vėliau kainuoja brangiau.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui reikia modelius testuoti su savo pavyzdžiais. Ne su bendrais benchmarkais, o su tikrais klientų laiškais, dokumentais, užklausomis, ataskaitomis.
- susikurti 50-100 realių testinių užduočių
- matuoti kainą už atliktą darbą, ne tik tokenų kainą
- lyginti greitį ir klaidų kainą kartu
- turėti taisyklę, kada naudoti brangesnį modelį
Pavyzdys: klientų laiškų rūšiavimui gali užtekti pigesnio modelio, bet sutarčių analizėje verta naudoti stipresnį modelį ir žmogaus peržiūrą.
KUR PASISLĖPUSI RIZIKA
Rizika – įsimylėti vieną modelį viskam. Tada turite plaktuką ir staiga visi procesai pradeda atrodyti kaip vinys.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Paimkite vieną DI užduotį ir palyginkite bent tris modelius su tais pačiais 30 realių pavyzdžių.
Šaltinis: Amazon Web Services.
DUK
Kas yra Model Profiler?
Atviro kodo AWS įrankis modeliams Amazon Bedrock aplinkoje lyginti.
Kodėl nereikia rinktis tik didžiausio modelio?
Nes mažesnis modelis gali būti pigesnis ir pakankamai geras konkrečiai užduočiai.
Kaip testuoti modelius?
Su realiais įmonės pavyzdžiais, matuojant kokybę, greitį ir kainą.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
