100 laboratorinių užduočių tikrina DI darbą su neapdorotais duomenimis
OpenAI ir Ligo pristatė šimto laboratorinių užduočių bandymą. Jis tikrina ne tik atsakymus, bet ir gebėjimą pastebėti, kada duomenų išvadai nepakanka.
Šimtą kasdienių laboratorinių užduočių OpenAI ir fermentų projektavimo bendrovė Ligo sujungė į naują DI agentų vertinimo rinkinį BioBasicsBench. Lapkričio 6 dieną paskelbtame OpenAI aprašyme tikrinama, ar modeliai supranta neapdorotus eksperimentų duomenis ir atpažįsta nepakankamus įrodymus.
Pasak OpenAI, mokslo publikacijoms atrinkti tvarkingi grafikai ne visada atspindi tikrą laboratorijų darbą, kuriame pasitaiko nesėkmingų bandymų bei prieštaringų stebėjimų. Naujas vertinimas todėl apima gelio vaizdus, mikroskopijos duomenis, kolonijų nuotraukas ir instrumentų pateiktus rezultatus, o ne vien teorines biologijos žinias.
OpenAI skelbia, kad GPT-6 Astra, naudodamas xhigh samprotavimo nustatymą, vidutiniškai surinko 66,7 procento galimų vertinimo taškų. Tuo pačiu nustatymu GPT-5.6 Sol rezultatas siekė 43,8 procento; tai dalinių taškų vidurkiai, o ne visiškai išspręstų užduočių dalis.
Pagal bendrovės metodiką, mokslininkai klausimus sudarė iš savo eksperimentų ir kiekvienam parengė ekspertinius atsakymo vertinimo kriterijus. Užduotis peržiūrėjo jų nekūręs Ligo mokslininkas, išorinis laboratorijoje dirbantis daktaro laipsnį turintis specialistas ir galiausiai dar vienas vidinis vertinimas.
Publikacijoje vertinimo sritys apima baltymų metodus, vaizdinimą ir citometriją, kiekybinius matavimus, nukleorūgščių metodus bei molekulinį klonavimą. Agentams reikia pateikti struktūruotą išvadą, matavimą arba rekomendaciją, o prireikus pagrįsti, kodėl būtent tokį atsakymą leidžia eksperimentas.
Nepriklausomas katalogas RL Research lapkričio 7 dienos įraše pažymi, kad apie šį vertinimą dar nėra naudojimo duomenų. Katalogas jam priskiria savo žemiausią D pakopą, aiškiai siedamas ją su menka taikymo informacija, o ne mokslinių užduočių sudėtingumu.
RL Research aprašyme taip pat pažymima, kad viešojoje diskusijoje kol kas vyrauja naujienos apie paskelbimą, o nepriklausomų vertinimų nedaug. Vadinasi, paskelbti bendrovės skaičiai ir platesnis rinkinio pripažinimas yra skirtingi dalykai; pirmasis savaime dar nepatvirtina antrojo.
Šioje vietoje vertinimo logika leidžia atskirti teisingą atsakymą nuo patikimo sprendimo: daliniai taškai neparodo, ar kiekviena kritinė klaida pašalinta. Aukštesnis vidurkis taip pat neatskleidžia, kaip agentas elgsis konkrečiame naujame eksperimente, kurio sąlygų šis rinkinys neapima.
RL Research D pakopos aprašyme naudojami keli požymiai: pritaikymo duomenys, organizacijų parama, pirminis patvirtinimas ir viešos diskusijos pobūdis. Katalogas nurodo, kad šio vertinimo sklaidos matomumas dar nepakeitė jo pakopos, todėl reitingas nėra alternatyvus modelių biologinių gebėjimų matavimas.
Iš tokios metodikos negalima apskaičiuoti nei laboratorijos klaidų tikimybės, nei žmogaus mokslininko darbo pakeitimo dalies konkrečioje įstaigoje. Šiems klausimams reikėtų atskiro naudojimo vertinimo, nes naujienos apie bandymo egzistavimą ir jo taikymo patikimumą aprašo skirtingus įrodymų lygius.
Pagal OpenAI aprašytą tikslą, tolesnis darbas turės gerinti vaizdų interpretavimą, kontrolinių mėginių tikrinimą ir eksperimentinio konteksto taikymą. RL Research užfiksuotas nepriklausomo naudojimo duomenų trūkumas kol kas lieka atviras klausimas, todėl rezultatai pristatomi kaip bandymo pažanga, ne laboratorinio savarankiškumo patvirtinimas.
Rašome apie dirbtinį intelektą lietuviškai. Kiekvienas straipsnis parengtas pagal nurodytą šaltinį, o nuorodą į originalą rasite kortelėje „Šaltinis“.
