Чат-боты на основе искусственного интеллекта буквально ворвались в нашу жизнь, и с момента выпуска ChatGPT в 2022 году стали не просто цифровыми помощниками, а полноценными собеседниками, способными поддерживать беседы на самые разные темы — от погоды до медицины. Сегодня люди все чаще задают им вопросы о своем здоровье, но можно ли доверять этим виртуальным «экспертам»?
Ответ на этот вопрос пытались найти ученые Юго-Западного медицинского центра Техасского университета.
Исследователи проверили, как современные популярные чат-боты ChatGPT-4, Claude и Gemini справляются с ответами на вопросы об эндометриозе. Они задали им 10 самых важных вопросов, среди которых «Что такое эндометриоз?», «Каковы его симптомы?» и «Какие методы лечения существуют?». Затем девять сертифицированных гинекологов оценили точность и полноту этих ответов, сравнив их с актуальными рекомендациями.
Результаты оказались неоднозначными: с симптомами и общей информацией все чат-боты справились неплохо, но вот о методах лечения и риске рецидива ответы были далеко не всегда полными. По словам руководителя исследования доктора Кимберли Хо, это может быть связано с недостаточным количеством данных по обучению чат-ботов, отражающих самые последние достижения в клинической практике, а также с отсутствием консенсуса среди экспертов в этой области.
Из всех протестированных моделей наиболее полные и точные ответы дал ChatGPT. Однако исследователи отмечают, что, несмотря на высокую точность, ИИ все еще не может заменить консультацию с врачом. Использование чат-ботов может быть хорошим стартом для поиска информации, но окончательные решения по вопросам здоровья должны принимать опытные специалисты.
Ответ на этот вопрос пытались найти ученые Юго-Западного медицинского центра Техасского университета.
Исследователи проверили, как современные популярные чат-боты ChatGPT-4, Claude и Gemini справляются с ответами на вопросы об эндометриозе. Они задали им 10 самых важных вопросов, среди которых «Что такое эндометриоз?», «Каковы его симптомы?» и «Какие методы лечения существуют?». Затем девять сертифицированных гинекологов оценили точность и полноту этих ответов, сравнив их с актуальными рекомендациями.
Результаты оказались неоднозначными: с симптомами и общей информацией все чат-боты справились неплохо, но вот о методах лечения и риске рецидива ответы были далеко не всегда полными. По словам руководителя исследования доктора Кимберли Хо, это может быть связано с недостаточным количеством данных по обучению чат-ботов, отражающих самые последние достижения в клинической практике, а также с отсутствием консенсуса среди экспертов в этой области.
Из всех протестированных моделей наиболее полные и точные ответы дал ChatGPT. Однако исследователи отмечают, что, несмотря на высокую точность, ИИ все еще не может заменить консультацию с врачом. Использование чат-ботов может быть хорошим стартом для поиска информации, но окончательные решения по вопросам здоровья должны принимать опытные специалисты.
Читайте также
Междисциплинарный подход: как мы объединяем врачей