Ако беше студент, алгоритъмът би получил двойка

ChatGPT може да е незаменим с помощта си в много неща - писане на мейли, даване на информация и сравнения, но в никакъв случай не го ползвайте като личен лекар.

Учени са представили 150 медицински случая на изкуствения интелект. AI чатботът дава правилна диагноза в по-малко от половината от случаите. Изследването е описано подробно в статия, публикувана в научния журнал Plos One.

Констатациите показват, че в сегашната си форма ChatGPT "не е точен като диагностичен инструмент".

"Ако хората са уплашени, объркани или просто не могат да получат достъп до грижи, те може да разчитат на инструмент, който изглежда предоставя медицински съвети, които са "по мярка" за тях", каза съавторът на изследването и асистент-професорът от Западния университет Амрит Кирпалани.

"Мисля, че като медицинска общност (и сред по-голямата научна общност) трябва да бъдем проактивни в обучението на общото население относно ограниченията на тези инструменти в това отношение. Те все още не трябва да заместват вашия лекар."

В техния експеримент големият езиков модел на ChatGPT GPT 3.5 е захранен с различни медицински случаи от Medscape. Всички те са подробно описани и точно диагностицирани.

ChatGPT получил достъп до историята на пациента, всякакви констатации от физически прегледи и лабораторни и образни резултати - всички неща, до които вашият средностатистически човешки лекар би имал достъп.

Накрая AI ботът трябвало да избира от четири различни отговора, като само един от тях е верен. Освен това той трябвало да обясни мотивите си зад диагнозата и в някои случаи да предостави цитати.

Ако ChatGPT беше студент по медицина, щеше да получи двойка. Той дава правилната диагноза само в 49 процента от времето.

Общата точност обаче е много по-добра. Този критерий разглежда умението на ChatGPT да отхвърля грешните избори във всички опции с множество възможности за избор. Той отбеляза 74 процента - което означава, че алгоритъмът е изненадващо добър в разпознаването на неправилната диагноза. Но дори и тогава той се затруднява в диагностицирането на случаите.

Най-големите недостатъци на ChatGPT в сравнение с човешките лекари са, че трудно интерпретира числени стойности и не е в състояние да интерпретира медицински изображения. Изследователите открили, че понякога алгоритъмът  халюцинира данни и понякога пренебрегва ключова информация.

Кирпалани заявява, че AI технологията определено ще намери място в медицината и ще продължи да се развива. Въпреки това резултатите показват, че ChatGPT не може да се ползва за лекар.