У новітній розробці Google для сфери охорони здоров’я — медичній моделі штучного інтелекту Med-Gemini — виявлено серйозну помилку: ШІ «вигадала» неіснуючу анатомічну структуру. У дослідницькому звіті про комп’ютерну томографію мозку згадувалася «інфаркт лівої базилярної ганглії», хоча такої ділянки в мозку людини просто не існує.
Цей фрагмент викликав занепокоєння у спільноті, адже, як виявилося, Med-Gemini некоректно об’єднала два реальні терміни: basal ganglia (основна ганглія) та basilar artery (базилярна артерія), створивши фіктивний — basilar ganglia. Помилку не помітили ані автори наукової статті, ані команда Google, яка опублікувала матеріал на своєму офіційному блозі ще у 2024 році.
Лише через деякий час проблему виявив невролог і дослідник ШІ Браян Мур, який повідомив про неї Google через LinkedIn. У відповідь компанія непублічно відредагувала текст блогу, замінивши «basilar» на «basal», однак саму наукову публікацію не виправили. У коментарі для The Verge помилку охарактеризували як «звичайну друкарську».
Проте не всі експерти поділяють таку позицію. Маулін Шах, головний директор з медінформації в системі Providence Health (яка охоплює понад 50 лікарень у США), підкреслив, що навіть незначна термінологічна помилка може призвести до серйозних наслідків у клінічній практиці.
Система Med-Gemini позиціонується Google як інструмент для автоматизованого створення медичних висновків, аналізу історій хвороб і прогнозування ризиків. Компанія подавала її як справжній прорив у сфері медичного ШІ. Але випадок із вигаданим терміном виявив ще одну проблему — тенденцію ШІ до «галюцинацій», тобто вигадування правдоподібних, але хибних фактів.
«Не можна сподіватися, що лікарі завжди будуть вичитувати ці звіти вручну. А якщо помилка потрапить у медичну базу, її можуть відтворити інші моделі чи системи», — зауважив Шах.
Це вже не перший приклад проблемної поведінки медичних ШІ від Google. Інша модель, MedGemma, давала різні результати на одні й ті самі рентгенівські знімки, залежно від того, як було сформульовано запит: коли лікар ставив детальне питання — модель помічала патології, а у спрощеній формі — ні.
Професор Джонатан Чен зі Стенфордської медичної школи зазначив, що одна з головних небезпек полягає в тому, що ШІ видає хибні відповіді з абсолютною впевненістю. Це створює ілюзію надійності й може вплинути на довіру фахівців, які поступово звикають покладатися на подібні системи.
Схожої думки дотримується і докторка Джуді Гічоя з Університету Еморі. За її словами, в тестовому середовищі Med-Gemini неодноразово генерував помилкові медичні висновки. Особливо її турбує те, що моделі не здатні визнавати свою невпевненість — вони ніколи не кажуть «я не знаю», що в медицині має принципове значення.
Google офіційно визнала проблему лише в короткому коментарі під дописом на LinkedIn:
«Дякуємо, що звернули увагу! Ми оновили зображення в блозі, щоб відобразити правильний результат».Проте експерти наголошують — мова не про одну прикру помилку.
«Найбільше насторожує не те, що ШІ часом помиляється, а те, наскільки переконливо він це робить», — підсумовує Чен.