Bedrock Model Profiler: modelių pasirinkimas be spėjimo iš akies
·
Bedrock Model Profiler skamba kaip techninis terminas. Bet kai pažiūri praktiškai, čia yra labai žemiškas klausimas: kiek darbo darome rankomis tik todėl, kad niekas neprisėdo sutvarkyti proceso?
AWS pristatė atviro kodo Bedrock Model Profiler. Jis surenka modelių metaduomenis iš kelių AWS API ir išorinių šaltinių į vieną paieškos sąsają. Man čia patinka viena ūkiška mintis: modelį reikia rinktis ne pagal triukšmą, o pagal darbą.
Man tokiose naujienose visada įsijungia mažas vidinis buhalteris. Ne tas, kuris skaičiuoja sąskaitas, o tas, kuris klausia: kiek tai kainuos, kas prižiūrės ir kur gali lūžti?
KAS NUTIKO
Įrankis padeda matyti modelių konteksto langus, regionus, palaikomas funkcijas, kainodarą ir kitą informaciją. AWS rašo, kad jį galima pasileisti savo aplinkoje per kelias minutes ir naudoti modelių atrankai Bedrock ekrane.
Dabar DI įrankių pasaulyje lengva pasimesti. Vienas modelis geriau rašo, kitas pigesnis, trečias turi didesnį kontekstą, ketvirtas veikia tik tam tikrame regione. O tada ateina žmogus iš komandos ir sako: „imkim tą naujausią, visi apie jį kalba“.
KODĖL TAI SVARBU
Bedrock Model Profiler svarbus todėl, kad įmonėms reikia modelių portfelio, ne vieno stebuklingo pasirinkimo. Dokumentų santraukai gali tikti vienas modelis, agento planavimui kitas, kodo analizei trečias, o masinei klasifikacijai pigesnis variantas.
DI jau nebe vien langelis, į kurį įmetame tekstą. Jis jungiasi prie įrankių, moka kviesti servisus, gali veikti keliais žingsniais ir pradeda liesti tikrus verslo pinigus. Čia romantika baigiasi. Prasideda tvarka.
KĄ TAI REIŠKIA VERSLUI
Verslui čia yra pinigų klausimas. Brangiausias modelis ne visada duoda daugiau vertės. Kartais jis tiesiog brangiau atlieka užduotį, kurią pigesnis modelis padarytų pakankamai gerai.
- modelius lyginti su savo užduotimis
- atskirti kokybės, greičio ir kainos kriterijus
- turėti modelio pasirinkimo lentelę
- peržiūrėti pasirinkimus kas mėnesį, nes rinka juda greitai
Pavyzdys paprastas: paimkite 20 realių klientų užklausų, paleiskite per tris modelius ir įvertinkite atsakymą ne pagal įspūdį, o pagal sutartus kriterijus.
KUR PASISLĖPUSI RIZIKA
Rizika – modelių pasirinkimą palikti vien entuziazmui. Entuziazmas geras startui. Sąskaitas vis tiek apmoka buhalterija.
Blogiausia DI klaida dažnai neatrodo kaip klaida. Ji ateina gražiai parašytu sakiniu, mandagiu tonu ir labai užtikrintu veidu. Todėl verslui reikia ne tik įrankių, bet ir įpročio tikrinti.
KĄ PASIDARYTI ŠIĄ SAVAITĘ
Susikurkite mažą modelių testavimo lentelę: užduotis, modelis, kaina, greitis, klaidos, žmogaus įvertinimas. Tada sprendimas tampa ramus, ne emocinis.
Šaltinis: Amazon Web Services.
DUK
Kas yra Bedrock Model Profiler?
Tai atviro kodo AWS įrankis modelių metaduomenims rinkti ir lyginti vienoje sąsajoje.
Kodėl modelių pasirinkimas sunkus?
Nes skiriasi kaina, regionai, funkcijos, konteksto langai ir reali kokybė konkrečiai užduočiai.
Ką daryti verslui?
Testuoti modelius su savo duomenimis ir turėti aiškius pasirinkimo kriterijus.
Jei norite DI naudoti ne dėl mados, pradėkite nuo vieno proceso. Paimkite užduotį, kuri kartojasi kas savaitę, susirašykite žingsnius ir tik tada junkite įrankį. Daugiau praktinių DI taikymo pavyzdžių rasite MasterSprint.
