Google skelbia tris sveikatos DI vertinimo kriterijus

Google paviešino sveikatos DI vertinimo metodiką, kuria modelių atsakymus tikrina pagal tris kriterijus: tikslumą, saugumą ir naudingumą. Lapkričio 4 dienos pranešime bendrovė nurodo, kad vertinimas turi aprėpti ir įprastus klausimus, ir didelės rizikos situacijas.

Pranešimą parengusi Google sveikatos klinikinio vertinimo vadovė Sarah Montgomery-Taylor rašo, kad vien uždarų klausimų testų tokiam vertinimui nepakanka. Bendrovės sistema juos derina su automatiniais vertintojais ir žmonių ekspertų peržiūra, siekdama įvertinti platesnį atsakymų poveikį.

Google nurodo metodiką rengusi kartu su sveikatos ekspertėmis Elizabeth McGlynn ir Dana Gelb Safran, o aprašymą pateikia viešai. Bendrovė teigia šį metodą naudojanti savo modeliams vertinti ir tikisi, kad jis bus naudingas tyrėjams bei klinikiniams specialistams.

Pranešime pateiktoje Gemini saugumo ataskaitoje sveikatos vertinimas skaidomas į kelias skirtingas užduočių grupes. Viena jų tikrina, kaip modelis supranta tekstinius pokalbius, medicininius dokumentus, laboratorinių tyrimų ataskaitas ir vaizdus, o ne vien atskirus klausimus.

Lokalizavimo bandymai, pagal ataskaitą, apima dešimt kalbų ir 25 vietoves, kuriose reikia suprasti konkrečiam kontekstui būdingas sveikatos aplinkybes. Tai atskira vertinimo dalis, nes vienas bendras rezultatas neparodo, kaip modelis susitvarko su kalbos ir vietos skirtumais.

Kitoje užduočių grupėje naudojami imituojami vartotojai, kurie pokalbio pradžioje sąmoningai neatskleidžia visos svarbios informacijos apie savo situaciją. Ataskaitoje aiškinama, kad taip tikrinamas modelio gebėjimas užduoti papildomus klausimus ir surinkti klinikinei išvadai reikalingą kontekstą.

Didelės rizikos scenarijuose vertinama, ar modelis atpažįsta skubumą, pastebi pavojaus ženklus ir nukreipia į tinkamą pagalbą. Google atskiria šias užduotis nuo bendro atsakymų naudingumo, todėl aukštesnis vieno testo balas savaime neapibūdina visų saugumo savybių.

Ataskaitos lentelėje Gemini 4 Argon dinaminio pokalbio rezultatas siekia 56,0 balo, o Gemini 3.1 Pro palyginimui pateikiamas 32,9 balo. Didelės rizikos sveikatos scenarijų rodikliai atitinkamai yra 98,9 ir 98,5, taigi šioje grupėje skirtumas gerokai mažesnis.

Google taip pat įtraukia HealthBench Hard, kurį sudaro 1 000 sudėtingų pavyzdžių, ir specialistams skirtą HealthBench Pro testą. Pastarasis apima klinikines konsultacijas, dokumentaciją, medicinos tyrimus bei profesionalią komunikaciją, o jo rezultatai pateikiami ir su paieška, ir be jos.

Ataskaitoje sveikatos atsakymų vertinimas apima ir informacijos pateikimą: teksto tankį, skaitymo sudėtingumą, toną bei suprantamą nukreipimą į pagalbą. Google šiuos aspektus sieja su klinikiniu teisingumu, nes techniškai tikslus sakinys nebūtinai atitinka konkretaus žmogaus situaciją ar jam suprantamą paaiškinimo lygį.

Bendrovės skelbiama sistema yra jos pačios modelių vertinimo metodika, todėl šie rezultatai nėra atskiro klinikinio diegimo patvirtinimas. Google žada toliau naudoti ir tikslinti vertinimą, o viešinimu siekia paaiškinti, kaip tikrina sveikatos kontekste pateikiamus atsakymus.