Американское управление, отвечающее за регулирование и контроль безопасности пищевых продуктов, лекарств, биологически активных добавок, медицинских устройств и так далее «Food and Drug Administration» (FDA) предупреждает, что медицинские устройства с ИИ могут причинять вред пациентам.
Исследователи призывают усилить надзор за такими устройствами, поскольку многие врачи «слишком уверены в выводах, сделанных ИИ, которые могут быть неточными». Обращение FDA поддержали учёные из Университета Мэриленда, а также ряд медицинских организаций, которые выразили своё беспокойство тем, что большинство языковых моделей могут ошибаться, что в свою очередь, будет способствовать постановке неверных диагнозов и причинять вред пациентам.
LLM и ChatGPT- виртуальные подхалимы для врачей
Эксперты заметили, что большинство языковых моделей (Large Language Models - LLM) и, в частности, ChatGPT «неосознанно предоставляют «рекомендации» того, как можно избежать регулирования FDA».
Они провели специальные тесты с использованием языковых моделей, которым было поручено провести анализ данных пациентов, и получили результаты, «выходящие за рамки «точности». Учёные утверждают, что LLM и, в частности, ChatGPT выдавали результаты анализа и диагностирования, «соответствующие предварительным предположениям врачей, что является подтверждением их предвзятости. Это может приводить к диагностическим ошибкам и причинению вреда здоровью пациентов».
LLM и ChatGPT имеют своих защитников
Однако нашлись и такие эксперты, которые заявили, что FDA и учёные из Университета Мэриленда, выступая против LLM и ChatGPT, сдерживают развитие и внедрение инноваций в медицине. Так в прошлом году специалисты из CDS Coalition (Clinical Decision Support объединение учёных по клинической поддержке принятия передовых решений) призвало FDA отменить свои требования по регламентированию клинического программного обеспечения и позволить активнее внедрять в здравоохранение инновации.
В своём обращении они написали: «LLM и ChatGPT предоставляют мощные возможности для упрощения сбора и обработки клинической информации. Языковые модели не только упрощают работу медиков, они предупреждают их профессиональное выгорание».
В ответ на это обращение FDA написала: «По мере того как такие инструменты начинают активнее применяться в клинической практике, они перестают выдавать точные результаты. Это приводит к неверно поставленным диагнозам и, как следствие, к медицинским ошибкам, которые могут причинять непоправимый вред здоровью пациентов».