Az AI ugyanolyan jól képes diagnosztizálni a betegségeket, mint az emberek
Az első ilyen jellegű szisztematikus áttekintés és metaanalízis megállapítja, hogy a mesterséges intelligencia (AI) ugyanolyan jól képes diagnosztizálni a betegséget az orvosi kép alapján, mint az egészségügyi szakemberek. Több, magas színvonalú tanulmányra van azonban szükség.
Egy új cikk megvizsgálja a meglévő bizonyítékokat, és megpróbálja meghatározni, hogy az AI képes-e ugyanolyan hatékonyan diagnosztizálni a betegségeket, mint az egészségügyi szakemberek.
A szerzők tudomása szerint - vagyis Alastair Denniston professzor vezetésével az Egyesült Királyságban működő University Hospitals Birmingham NHS Foundation Trust (Egyesült Királyság) professzor vezetésével ez az első szisztematikus áttekintés, amely összehasonlítja az AI teljesítményét az összes betegség orvosi szakembereivel.
Prof. Denniston és a csapat számos orvosi adatbázisban keresték meg a 2012. január 1. és 2019. június 6. között közzétett összes tanulmányt. A csapat elemzésének eredményeit közzétette a folyóiratban A Lancet Digital Health.
AI egy szinten az egészségügyi szakemberekkel
A kutatók olyan kutatásokat kerestek, amelyek összehasonlították a mély tanulási algoritmusok diagnosztikai hatékonyságát az egészségügyi szakemberekével, amikor orvosi képalkotás alapján diagnosztizáltak.
Megvizsgálták a jelentések minőségét az említett vizsgálatokban, klinikai értéküket és a tanulmányok felépítését.
Továbbá, amikor az AI diagnosztikai teljesítményének értékeléséről az egészségügyi szakemberekéhez képest a kutatók két eredményt vizsgáltak: a specifitást és az érzékenységet.
Az „érzékenység” meghatározza annak valószínűségét, hogy egy diagnosztikai eszköz pozitív eredményt ér el a betegségben szenvedőknél. A specifitás a diagnosztikai teszt pontosságára vonatkozik, amely kiegészíti az érzékenységi mértéket.
A kiválasztási folyamat csak 14 olyan vizsgálatot eredményezett, amelyek minősége elég magas volt ahhoz, hogy az elemzésbe belefoglalják. Denniston professzor kifejtette: "Több mint 20 500 cikket tekintettünk át, de ezek kevesebb mint 1% -a volt kellően robusztus a tervezésükben és a beszámolókban, hogy a független bírálók nagyon bíztak követeléseikben."
"Ráadásul csak 25 tanulmány validálta az AI modelleket külsőleg (más populációból származó orvosi képek felhasználásával), és csak 14 tanulmány hasonlította össze az AI és az egészségügyi szakemberek teljesítményét ugyanazon tesztminta segítségével."
„Azon a magas színvonalú tanulmányon belül azt tapasztaltuk, hogy a mély tanulás valóban ugyanolyan pontosan képes felismerni a betegségeket a daganattól a szembetegségekig, mint az egészségügyi szakemberek. De fontos megjegyezni, hogy az AI nem lépte túl az emberi diagnózist. "
Prof. Alastair Denniston
Pontosabban az elemzés megállapította, hogy az AI az esetek 87% -ában képes helyesen diagnosztizálni a betegséget, míg az egészségügyi szakemberek általi észlelés 86% -os pontosságot eredményezett. A mély tanulási algoritmusok specifitása 93% volt, szemben az emberekéval 91%.
Az elfogultságok túlozhatják az AI teljesítményét
Denniston professzor és munkatársai számos korlátozásra is felhívják a figyelmet, amelyeket az AI diagnosztikai teljesítményt vizsgáló tanulmányokban találtak.
Először is, a legtöbb tanulmány a mesterséges intelligencia és az egészségügyi szakemberek diagnosztikai pontosságát elszigetelt környezetben vizsgálja, amely nem utánozza a rendszeres klinikai gyakorlatot - például megfosztja az orvosokat a további klinikai információktól, amelyekre általában szükségük van a diagnózis felállításához.
Másodszor, mondják a kutatók, a legtöbb tanulmány csak az adatkészleteket hasonlította össze, míg a diagnosztikai teljesítmény magas színvonalú kutatásához ilyen összehasonlításokra lenne szükség az embereknél.
Ezenkívül minden tanulmány gyenge jelentéstételt szenvedett, állítják a szerzők, az elemzés nem veszi figyelembe az említett adatkészletekből hiányzó információkat. "A legtöbb [tanulmány] nem számolt be arról, hogy hiányoznak-e adatok, ezek milyen arányt képviselnek, és hogyan foglalkoztak a hiányzó adatokkal az elemzés során" - írják a szerzők.
További korlátozások közé tartozik a következetlen terminológia, az érzékenység és a specificitás elemzésének határértékének egyértelmű meghatározása, valamint a mintán kívüli validálás hiánya.
"Van egy belső feszültség az új, potenciálisan életmentő diagnosztika alkalmazásának vágya és a magas színvonalú bizonyítékok olyan módon történő kidolgozása között, amely előnyös lehet a betegek és az egészségügyi rendszerek számára a klinikai gyakorlatban" - kommentálja Dr. Xiaoxuan Liu, az első szerző Birminghami Egyetem.
„Munkánk egyik legfontosabb tanulsága, hogy a mesterséges intelligenciában - mint az egészségügy bármely más részében - a jó tanulmányterv számít. Enélkül könnyen bevezetheti az elfogultságot, amely torzítja az eredményeket. Ezek az elfogultságok az AI-eszközök jó teljesítményének eltúlzott állításaihoz vezethetnek, amelyek nem valósulnak meg a való világban. "
Dr. Xiaoxuan Liu
"Bizonyítékot kell adni arra, hogy az AI algoritmusok hogyan fogják megváltoztatni a beteg kimenetelét, a randomizált, kontrollált vizsgálatok alternatív diagnosztikai tesztjeivel való összehasonlításból kell származniuk" - teszi hozzá Dr. Livia Faes társszerző a Moorfields Eye Hospital-tól (London, Egyesült Királyság).
"Eddig alig akad olyan vizsgálat, ahol az AI algoritmus által hozott diagnosztikai döntéseket megteszik, hogy lássák, mi történik akkor azokkal az eredményekkel, amelyek valóban fontosak a betegek számára, például az időben történő kezelés, a kórházból való kilépés ideje vagy akár a túlélési arány."
