Ученые UTSA работают над устранением «галлюцинаций» ИИ в медицине

Исследователи из Школы Data Science UTSA разрабатывают инструменты, которые позволят искусственному интеллекту давать более точные и правдивые ответы на медицинские вопросы, минимизируя риски неверных диагнозов и рекомендаций.

Ученые из Школы Data Science (SDS) при Университете Техаса в Сан-Антонио (UTSA) совершили прорыв в области искусственного интеллекта (ИИ) для медицины. Их проект, получивший грант в размере 35 000 долларов, направлен на значительное снижение «галлюцинаций» в больших языковых моделях (LLM) при ответах на вопросы, касающиеся личной медицинской истории. Разработка позволит сделать ИИ более надежным и безопасным помощником для врачей и пациентов, пишет UTSA Today (https://www.utsa.edu/today/2025/03/story/SDS-faculty-improve-AI-reliability-in-medical-field.html). 

Исследовательская группа, возглавляемая доцентом компьютерных наук Ке Янг, совместно с доцентами информационных систем и кибербезопасности Энтони Риосом и Юэся Чжан, сосредоточена на решении проблемы «галлюцинаций» ИИ.  «Галлюцинации» ИИ – это термин, описывающий ситуации, когда ИИ уверенно предоставляет ложную или вводящую в заблуждение информацию. Это происходит из-за того, что LLM, подобные Chat GPT, обучаются на огромных массивах данных, выявляя закономерности, но не обладая реальным пониманием мира.  В результате, ИИ может казаться убедительным, даже если его ответы не соответствуют действительности.

Особенно опасны такие «галлюцинации» в сфере здравоохранения, где неверный диагноз или некорректная рекомендация лечения могут привести к серьезным последствиям для пациента.  Недавнее исследование Гарвардского университета показало, что многие люди предпочитают медицинские советы, сгенерированные чат-ботами, ответам врачей, что подчеркивает острую необходимость в разработке более надежного и точного ИИ для медицины.

Для решения этой проблемы исследователи UTSA разрабатывают AI модель, способную самостоятельно перепроверять информацию. Ключевым элементом разработки является создание Causal Knowledge Graph (CKG) – структурированной базы знаний, содержащей проверенную медицинскую информацию из надежных источников. CKG позволит ИИ устанавливать связи между различными медицинскими концепциями и формировать более точные и обоснованные ответы.  Другими словами, CKG действует как «медицинская энциклопедия» для ИИ, помогая ему не «выдумывать» информацию, а находить её в проверенных источниках.

Команда также разрабатывает систему фильтрации данных, использующую субграфы, для более эффективного поиска релевантной информации в CKG.  Субграфы – это меньшие, целевые разделы данных внутри CKG, которые действуют как индекс, помогая ИИ сосредоточиться только на наиболее полезной информации, вместо того чтобы искать во всем массиве знаний.

Помимо разработки инструмента для улучшения ответов ИИ, команда планирует создать эталонную базу данных – коллекцию «безошибочных» вопросов и ответов, которая станет стандартом для оценки и улучшения других моделей ИИ.

Большинство европейцев видят позитивные стороны внедрения ИИ на рабочих местах.

Несмотря на опасения по поводу потери работы и приватности, опрос Евробарометра показал, что большинство жителей ЕС считают искусственный интеллект полезным для экономики, повышения производительности и улучшения качества жизни.

Новое исследование Евробарометра показало, что большинство европейцев положительно относятся к внедрению искусственного интеллекта (ИИ) и других цифровых технологий на рабочих местах, несмотря на обеспокоенность по поводу потенциальных рисков. Опрос «Искусственный интеллект и будущее работы», проведенный в апреле-мае 2024 года среди 26 415 жителей ЕС, выявил, что 62% респондентов считают роботов и ИИ позитивным явлением на работе, а 70% полагают, что эти технологии повышают производительность, сообщает Staffing Industry Analysts (https://www.staffingindustry.com/news/global-daily-news/most-europeans-positive-about-ai-in-the-workplace).

Однако, исследование также выявило значительную обеспокоенность по поводу необходимости регулирования использования ИИ. 84% опрошенных считают, что ИИ требует тщательного управления для защиты приватности и обеспечения прозрачности на рабочем месте.  Кроме того, 66% опасаются, что ИИ и роботы скорее отнимут рабочие места, чем создадут новые.  Эти опасения касаются, в частности, автоматического увольнения работников (78%), мониторинга сотрудников (63%), оценки их производительности (57%) и сбора, обработки и хранения персональных данных (49%).

Несмотря на эти опасения, исследование показало, что 67% респондентов оптимистично настроены относительно использования цифровых технологий, включая ИИ, для улучшения здоровья и безопасности работников. Большинство европейцев также поддерживают четкие правила использования цифровых технологий, такие как защита приватности работников (82%).

«Примечательно, что более шести из десяти европейцев считают, что роботы и ИИ – это хорошо для общества, с оговоркой, что подавляющее большинство также говорят, что такие технологии нуждаются в тщательном управлении», – говорится в отчете ЕС.  Опрос подчеркивает, что потенциал роботов и ИИ в облегчении рабочей нагрузки за счет выполнения скучной и повторяющейся работы или использования для принятия точных решений ценится, но респонденты опасаются их воздействия на социальные области, такие как общение между коллегами.

Искусственный интеллект (ИИ) – это широкое понятие, обозначающее способность компьютерных систем выполнять задачи, которые обычно требуют человеческого интеллекта, такие как обучение, распознавание образов и принятие решений.  В контексте рабочих мест, ИИ может использоваться для автоматизации рутинных задач, анализа больших объемов данных и предоставления сотрудникам более точной информации для принятия решений.

Евробарометр – это серия регулярных опросов общественного мнения, проводимых Европейской комиссией в странах-членах ЕС и некоторых других странах. Эти опросы позволяют оценить общественное мнение по различным вопросам, касающимся политики, экономики и социальной жизни в Европе.