AI rentgeną perskaito prasčiau nei gydytojas — ir klysta pernelyg užtikrintai

Vis daugiau žmonių savo rentgeno, kompiuterinės tomografijos ar magnetinio rezonanso vaizdus tiesiog įkelia į pokalbių robotą ir klausia „kas man yra". Naujas testas rodo, kodėl tai pavojinga: net galingiausi šiandienos dirbtinio intelekto modeliai radiologijos užduotyse gerokai atsilieka nuo gydytojų — o blogiausia, kad klaidingas išvadas jie neretai pateikia visiškai užtikrintai.

Liepos 19 d. paskelbtas „Radiology's Last Exam" (RadLE) 2.0 — atnaujinta Indijos Ašokos universiteto CRASH laboratorijos vertinimo sistema. Tai tęsinys 2025 m. rudenį pristatyto pirmojo testo, kuris tąkart parodė žiaurų atotrūkį: patyrę radiologai teisingai atpažino apie 83 % atvejų, o geriausias tuometinis AI modelis — vos apie 30 %.

Naujoji versija matuoja ne tik tai, ar modelis pataiko diagnozę, bet ir tai, ar jis žino, kada nežino.

Ką rodo skaičiai

RadLE 2.0 apima 200 realių radiologijos atvejų ir palygina 16 modelių. Pagrindiniame — pasitikėjimu pasvertame — vertinime galima surinkti iki 2 000 taškų. Rezultatas iškalbingas:

• Žmonės radiologai: 988,7 taško
• Geriausias AI modelis: 758 taškai

Kitaip tariant, atotrūkis nuo pirmos versijos susitraukė, bet žmogus vis dar aiškiai priekyje. Ir tai — ne todėl, kad AI blogai „mato". Problema kitur.

Penki matai, kurie keičia žaidimą

Esminis RadLE 2.0 pokytis — ne vienas „teisingų atsakymų procentas", o keli indeksai, kurie atskleidžia modelio elgesį:

• RadLE-C (pasitikėjimu pasvertas indeksas) — pagrindinis matas. Teisinga ir užtikrinta diagnozė duoda taškų; klaidinga ir užtikrinta diagnozė atima taškų; sąžiningas „nežinau" — nulis taškų, be baudos.
• RadLE-A (tikslumo indeksas) — grynas pataikymo procentas iš visų 200 atvejų.
• RadLE-H (perdavimo parengties indeksas) — ar modelis atpažįsta savo ribas ir „perduoda" atvejį žmogui.

Prie jų prisideda atsakymų profilio analizė (teisinga / klaidinga / „nežinau" su pasitikėjimo lygiu) ir klaidų taksonomija — sisteminga diagnostinių nesėkmių klasifikacija.

Šitas dizainas apverčia įprastą logiką. Kai vienintelis tikslas — pataikyti kuo daugiau, modeliui apsimoka spėti. Kai už užtikrintą klaidą baudžiama, atsargus „nežinau" tampa protingesniu ėjimu. Būtent to ir reikia medicinoje: užtikrinta klaidinga diagnozė yra kur kas pavojingesnė nei sąžiningas „nesu tikras".

Kuris modelis ką moka

Įdomiausia, kad nė vienas modelis nelaimi visur — kiekvienas optimizuotas skirtingiems dalykams:

• „Claude Fable 5" pirmavo pagal pagrindinį, pasitikėjimu pasvertą matą — t. y. duodavo patikimiausius ir saugiausius atsakymus.
• „Gemini 3.0 Pro" pasiekė didžiausią gryną pataikymo procentą ir pagal tikslumą priartėjo prie žmogaus.
• „Meta Muse Spark 1.1" geriausiai atpažino, kada verčiau atsitraukti ir perduoti atvejį specialistui.
• „Grok 4.5", nepaisant platesnių žinių, haliucinuoja pastebimai dažniau nei pirmtakas.

Atskira problema — atviro svorio ir specializuoti medicininiai modeliai. Jie bandė atsakyti beveik į kiekvieną atvejį, bet dažnai klydo su vidutiniu ar aukštu pasitikėjimu. Tyrėjų mintis paprasta: dalis modelių surinktų gerokai daugiau taškų, jei tiesiog atsisakytų sunkių atvejų, o ne spėliotų užtikrintai. „Daug modelių pateikia klaidingas išvadas su visišku pasitikėjimu — būtent tai daro juos pavojingus paciento priežiūrai", — apibendrina testo autoriai.

Kodėl tai svarbu už radiologijos ribų

RadLE 2.0 kalba ne tik apie rentgenus. Jis parodo bendrą didelių kalbos modelių silpnybę — prastą pasitikėjimo kalibravimą. Modelis gali skambėti vienodai įtikinamai ir tada, kai teisus, ir tada, kai visiškai klysta. Medicinoje tai gyvybės klausimas; versle — sprendimų, sutarčių ar finansų klausimas.

Yra ir antra pusė — žmogaus įgūdžių nykimas. Testo autoriai primena 2025 m. Lenkijoje atliktą tyrimą: gydytojai, įpratę prie AI pagalbos kolonoskopijų metu, be įrankio pastebimų darinių aptiko rečiau — jų rodiklis nukrito nuo 28,4 % iki 22,4 %. Tai vadinamasis „Google Maps efektas": kai maršrutą veda navigacija, patys nustojame orientuotis.

Ką iš to pasiimti Lietuvai

Lietuvos sveikatos sistema sparčiai skaitmenizuojasi, o AI įrankiai vaizdų analizei jau beldžiasi į ligonines ir privačias klinikas. RadLE 2.0 duoda aiškų praktinį orientyrą: vertinti reikia ne tik tikslumą, bet ir tai, ar sistema moka pasakyti „nežinau" ir perduoti atvejį gydytojui. Būtent to reikalauja ir ES dirbtinio intelekto reglamentas, priskiriantis medicininius AI įrankius aukštos rizikos kategorijai.

Ta pati pamoka galioja bet kuriam verslui, diegiančiam AI ten, kur klaida brangi — nuo teisės iki apskaitos. Naudingiausias modelis nebūtinai tas, kuris atsako į viską. Dažnai vertingesnis tas, kuris laiku pripažįsta ribas ir grąžina sprendimą žmogui. Pasitikėjimo kalibravimas — ne graži smulkmena, o saugumo pamatas.

RadLE 2.0 dar plečiamas, o pilna mokslinė publikacija su kaštų analize — dar tik rengiama. Bet pagrindinė žinutė jau aiški: dirbtinis intelektas rentgeną „skaityti" išmoko įspūdingai greitai. Išmokti pasakyti „nesu tikras" jam sekasi kur kas sunkiau — o medicinoje būtent tai skiria naudingą pagalbininką nuo pavojingo.