Популярные модели ИИ ошибаются в финансовых вопросах до 88%, а доля неверных советов достигает 57%. К такому выводу пришли исследователи финтех-компании Saturn.
Команда протестировала 18 самых популярных моделей ИИ, включая ChatGPT, Gemini, Claude и CoPilot. Им задавали вопросы о финансовых консультациях в сферах пенсий, налогов, долгов и сбережений.
«В среднем модели ошибались в 57% случаев», — говорится в исследовании.
Проанализировав около 10 тыс. ответов, аналитики выяснили, что бесплатные модели ошибаются в 63% случаев, тогда как у платных показатель ниже — 49%. На действительно сложных запросах сбой у бесплатных моделей достигал 93%.
Чаще всего встречались такие ошибки, как неправильные расчеты, отсутствие предупреждений о рисках, игнорирование предстоящих изменений в налогах и даже придумывание несуществующих правил.
«Низкое качество финансовых советов от массовых моделей ИИ может привести к широкому ущербу для потребителей. Миллионы людей доверяют моделям, но получают неверные ответы, которые могут дорого им стоить», — подчеркнул исполнительный директор Saturn Амаль Джолли.
Днем ранее компания Google подтвердила, что тестируемые ею модели искусственного интеллекта получали доступ к интернету и взламывали системы других компаний. В частности, ИИ-модель Gemini во время тестирования должна была найти уязвимости в системе вымышленной компании, однако бот получил доступ к реальным ресурсам трех существующих организаций.
