У недавньому дослідженні, опублікованому в The Annals of Family Medicine, дослідники оцінили ефективність Chat Generative Pretrained Transformer (ChatGPT) у узагальненні медичних рефератів для допомоги лікарям. Дослідження мало на меті визначити якість, точність і упередженість підсумків, створених ChatGPT, щоб зрозуміти його потенціал як інструменту для перетравлення величезної кількості медичної літератури в умовах обмежень часу, з якими стикаються медичні працівники.
Високі оцінки якості та точності
У дослідженні використовувався ChatGPT для ущільнення 140 медичних рефератів із 14 різноманітних журналів, зменшивши вміст у середньому на 70%. Незважаючи на деякі неточності та галюцинації, виявлені в невеликій частині резюме, лікарі високо оцінили якість і точність резюме. Отримані дані свідчать про те, що ChatGPT може допомогти лікарям ефективно переглядати медичну літературу, пропонуючи стислі та точні резюме серед величезного обсягу інформації.
Дослідники відібрали по 10 статей з кожного з 14 журналів, присвячених різним медичним темам і структурам. Вони доручили ChatGPT узагальнити ці статті та оцінити згенеровані підсумки на якість, точність, упередженість і релевантність у десяти галузях медицини. Дослідження показало, що ChatGPT успішно стиснув медичні реферати в середньому на 70%, отримавши високі оцінки від рецензентів лікарів за якість і точність.
Наслідки для охорони здоров’я
Незважаючи на високі оцінки, дослідження виявило серйозні неточності та галюцинації в невеликій кількості резюме. Ці помилки варіювалися від пропуску критичних даних до неправильної інтерпретації дизайну дослідження, що потенційно могло змінити інтерпретацію результатів дослідження. Проте продуктивність ChatGPT у підсумкуванні медичних рефератів була визнана надійною з мінімальною похибкою.
Незважаючи на те, що ChatGPT продемонстрував сильну відповідність людським оцінкам на рівні журналу, його продуктивність у визначенні відповідності окремих статей конкретним медичним спеціальностям була менш вражаючою. Ця розбіжність підкреслила обмеження здатності ChatGPT точно визначати релевантність окремих статей у ширшому контексті медичних спеціальностей.
Дослідження дає цінну інформацію про потенціал ШІ, зокрема ChatGPT, у допомозі лікарям ефективно переглядати медичну літературу. Хоча ChatGPT є багатообіцяючим у високоякісному та точному узагальненні медичних рефератів, необхідні подальші дослідження, щоб усунути обмеження та покращити його ефективність у конкретних медичних контекстах.
Майбутні дослідження можуть бути зосереджені на покращенні здатності ChatGPT розпізнавати відповідність окремих статей конкретним медичним спеціальностям. Крім того, спроби зменшити кількість неточностей і галюцинацій у створених підсумках можуть ще більше підвищити корисність інструментів штучного інтелекту в медичних закладах.
Джерело: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/