Какой медицинский экзамен сдал ChatGPT?

Тема, которая в последнее время взорвала интернет, это ничто иное, как чатбот ChatGPT, искусственный интеллект, дебютировавший в прошлом ноябре. Люди общались с ним в игривых и беззаботных разговорах, чтобы проверить его способность к болтовне. Но ChatGPT добился не только этого - он справился с множеством достижений, таких как сдача некоторых самых сложных экзаменов, таких как экзамен по лицензированию в медицине США, экзамен в школе бизнеса Уортона и четыре экзамена в Конституционном праве в университете Миннесоты. Этот факт привлек внимание главы Twitter Илона Маска, который пошутил над чатботом, сказав: "Я уверен, что всё будет хорошо". Давайте посмотрим, на каком медицинском экзамене преуспел ChatGPT?

Возникновение ChatGPT

Интересно отметить, что Open AI, исследовательская компания, в которую инвестировали Маск и Майкрософт, создала ChatGPT. Любой, кто использует веб-сайт этого инструмента ИИ, может задать ему вопрос по любой теме и получить оперативный детальный ответ в виде абзаца. ChatGPT показал свои возможности в различных областях. Он может быстро и сложно писать эссе, составлять маркетинговые предложения, писать стихи и шутки, а также составлять речи для конгрессменов в Соединенных Штатах. Однако есть опасения, что искусственный интеллект может забрать некоторые рабочие места у людей.

Также прочитайте: Бесплатно ли использование ChatGPT 4?

ChatGPT проходит медицинское обследование: обзор

Одним из последних достижений этого инструмента является его способность успешно сдавать американские экзамены по лицензированию в области медицины. В исследовании, проведенном перед печатью, исследователи изучили максимальные возможности ChatGPT. Они использовали вопросы предыдущих экзаменов для обучения искусственного интеллекта и дали эти вопросы на оценку двум независимым врачебным судьям, которые оценивали ответы врачей на эти вопросы, которые были как письменные, так и выбор из нескольких вариантов. Ученые убедились, что ответы на эти вопросы, доступные для бота во время его обучения, не дляситься. Команда отметила, что, даже несмотря на то, что ChatGPT раньше не видел ответы на эти вопросы, он показал результаты, приближенные к порогу достаточности для экзаменов без специальной подготовки или подкрепления. Инструмент получил более 50 процентов правильных ответов на всех экзаменах и приблизился к уровню проходного балла на экзаменах USMLE, которым составляет около 60 процентов. "Таким образом, ChatGPT теперь уверенно находится в пределах допуска", - заключает статья.

Чатбот ChatGPT сдал экзамен USMLE: Все, что вам нужно знать

В рамках революционного нового исследования ученые Массачусетской общей больницы (MGH) и AnsibleHealth обнаружили, что ChatGPT OpenAI может сдавать экзамен для получения медицинской лицензии Соединенных Штатов (USMLE) с впечатляющей точностью в 60%. Это исследование открывает увлекательные возможности для применения искусственного интеллекта в медицинском образовании и тренировке.

Инструменты обработки естественного языка и медицинское образование

ChatGPT - это инструмент обработки естественного языка, который тренируется на огромных объемах языковых данных и ищет закономерности и взаимосвязи. Его способность генерировать новый текст на основе языковой информации, на которой он обучен, делает его идеальным кандидатом для использования в медицинском образовании. Однако, зависимость ChatGPT от обучающих данных означает, что он не сканирует Интернет, как другие чат-боты на базе искусственного интеллекта.

Тестирование модели

Ученые оценили модель ChatGPT на основе трех стандартизированных тестов, которые входят в состав USMLE. Команда обучила модель, используя тестовые вопросы из июньского образца экзамена 2022 года, опубликованного для общественности. Вопросы, требующие визуального анализа, были исключены из обучающей выборки.

Для снижения искажения памяти команда вводит в модель три различных типа вопросов:

1. Множественный выбор одного ответа без принуждения к обоснованию, например: «Состояние пациента в основном вызвано следующими возбудителями?»
2. Множественный выбор одного ответа с принуждением к обоснованию, например: «Какая из следующих причин наиболее вероятна для симптомов пациента ночью? Объясните свое обоснование для каждого варианта.»
3. Открытый вопрос, например: "Какое будет диагноз пациента на основе предоставленной информации?"

Впечатляющие результаты

Впервые модель искусственного интеллекта смогла пройти экзамен USMLE с точностью около 60% без помощи тренеров-клиницистов. Этот результат является значимым и открывает новые возможности для использования искусственного интеллекта в медицинском образовании. Исследователи также обнаружили, что результаты ChatGPT показали достоверные клинические идеи и обоснование, что увеличивает уверенность в объяснимости и доверии к модели.

Будущее медицинского образования

Команда считает, что ChatGPT и другие генеративные модели разговора могут помочь в обучении будущих врачей. Одно из таких применений может быть перевод технических медицинских результатов в более понятный язык для пациентов. Компания AnsibleHealth уже работает над этим проектом.

ChatGPT проявляет свои возможности в медицинской сфере

Помимо своей способности отвечать на вопросы и диагностировать заболевания, GPT-4 также отличается отличным переводчиком. Он способен переводить информацию об выписке для пациента, говорящего на португальском языке, и упрощать техническую жаргонную речь до такого уровня, чтобы ученики 6-ого класса могли легко понять. GPT-4 также может предоставить врачам полезные рекомендации о вежливом поведении у постели пациента, предлагая советы о том, как говорить с пациентами о их состоянии настолько сострадательно и понятно, сколько возможно.

Несмотря на свои ограничения, GPT-4 может воссоздать, с поразительными, хоть и недостоверными результатами, процесс диагностики, который используют врачи. Когда его спросили, может ли он реально проводить причинно-следственное мышление, он ответил, что его интеллект до сих пор "ограничен шаблонами в данных и не включает истинного понимания или целенаправленности".

Мысли доктора Айзека Кохана о GPT-4

В предстоящей книге под названием «АИ-революция в медицине», компьютерный ученый и врач доктор Исаак Кохане, вместе с двумя коллегами, протестировали GPT-4, новейшую модель искусственного интеллекта от компании OpenAI, чтобы узнать, как она справляется в медицинской среде. Результаты были впечатляющими.

В книге доктор Кохане отмечает, что GPT-4, который был выпущен в марте 2023 года для платных подписчиков, может правильно отвечать на вопросы лицензионного медицинского экзамена США более чем в 90% случаев. Он гораздо более хорошо справляется с экзаменами, чем предыдущие модели искусственного интеллекта ChatGPT, GPT-3 и -3.5, и лучше некоторых лицензированных врачей. По словам Кэри Голдберг и вице-президента исследований компании Microsoft Питера Ли, GPT-4 обладает лучшим клиническим суждением, чем "многие врачи", и может диагностировать редкие заболевания "так же, как и я".

Тестирование GPT-4: Метод

Чтобы протестировать GPT-4, доктор Кохан и его коллеги сотрудничали, чтобы увидеть, как модель AI проявляет себя в медицинской среде. Они задавали GPT-4 вопросы и предоставляли ему клинические сценарии для диагностики, которые затем сравнивали с диагнозами, которые ставили человеческие врачи. Авторы отмечают, что у GPT-4 есть несколько преимуществ перед человеческими врачами, такие как способность запоминать и синтезировать огромные объемы информации из разных источников.

Однако авторы также признают, что у GPT-4 есть несколько ограничений. Например, GPT-4 не может учитывать уникальную медицинскую историю пациента или социальные детерминанты здоровья. Кроме того, возникли опасения по поводу конфиденциальности данных и пристрастия GPT-4 к огромным объемам информации.

GPT-4: Возможности и Потенциал

GPT-4 - это не просто поиск фактов и хороший специалист по тестам; он также отличный переводчик. Согласно авторам, GPT-4 способен переводить информацию о выписке пациента, говорящего на португальском языке, и упрощать техническую терминологию до такого уровня, что ее сможет легко понять шестиклассник.

Но GPT-4 обещает проявить себя не только в сфере диагностики. В книге авторы объясняют, как GPT-4 может давать врачам полезные советы по манере поведения у постели больного, предлагая советы о том, как лучше установить контакт с пациентами.

Однако важно отметить, что GPT-4 не является безошибочной. Как предупреждают авторы, она все еще может допускать ошибки и не принимала Гиппократову присягу. Более того, технология искусственного интеллекта, включая GPT-4, вызывает этические вопросы о вытеснении рабочих мест и конфиденциальности пациентов.

Заключение: Будущее искусственного интеллекта в медицине

Несмотря на эти ограничения, успех GPT-4 в диагностике медицинских состояний открывает захватывающие возможности для применения искусственного интеллекта в медицине. В будущем, модели искусственного интеллекта, подобные GPT-4, могут помочь врачам диагностировать редкие заболевания, переводить медицинский жаргон и предоставлять лучшее уход за пациентами. Однако важно, чтобы модели искусственного интеллекта разрабатывались и тестировались с учетом этических аспектов.