Ведущие модели ИИ провалили 57% ответов по личным финансам, согласно британской финтех-компании Saturn. На более сложных многошаговых запросах доля провалов выросла до 88%.
Результаты появились на фоне резко возросшей зависимости потребителей от чат-ботов в денежных вопросах.
Сложные вопросы сломали почти каждую модель
В исследовании 121 вопрос прогнали через 18 бесплатных и платных моделей от провайдеров, включая ChatGPT, Gemini, Claude и Copilot. Каждый вопрос повторяли до 5 раз, получив более 10 000 ответов.
Тест засчитывал ответ как провал, если он содержал фактическую ошибку, упускал что-то существенное или не включал необходимое предупреждение.
Хуже всех показали себя бесплатные модели, провалив 63% ответов против 49% у платных версий. На самых сложных вопросах бесплатные модели ошибались в 93% случаев.
Claude Opus 5 в режиме рассуждений возглавил рейтинг. Однако он всё равно провалил 39% ответов. Среди ошибок были неверные расчёты, упущенные налоговые изменения и несуществующие правила.
Один ответ по налогообложению пенсий мог бы подставить вкладчика под сбор в £17 500 от Налогово-таможенной службы Великобритании (HM Revenue and Customs).
“Миллионы людей доверяют моделям ИИ советы по деньгам, но получают неверные ответы, которые могут стоить им денег”, — сказал Амаль Джолли, генеральный директор Saturn.
Подписывайтесь на нас в X, чтобы получать последние новости по мере их появления
Доверие к ИИ-чат-ботам всё равно продолжает расти
Тем временем использование расширилось по рынкам и возрастным группам. Глобальный опрос EY, охвативший 18 000 потребителей, показал, что 49% использовали ИИ для поддержки решений о сбережениях и инвестициях.
Британский финансовый регулятор сообщил в августе, что четверо из пяти менее опытных инвесторов использовали ИИ в помощь при инвестировании. Из числа опрошенных 56% заявили, что доверяют этим инструментам, опережая телевидение и радио с их 47%.
При этом то же исследование выявило, что 44% ошибочно полагают, будто финансовая информация, сгенерированная ИИ, регулируется.
Опрос PensionBee среди 1000 взрослых американцев показал, что почти шесть из десяти действовали бы по денежным рекомендациям, не проверяя их самостоятельно. Почти каждый четвёртый сказал, что чат-бот уже давал ему неверную информацию о его финансах.
Джолли отметил, что финансовые советы ИИ не регулируются, из-за чего потребители остаются без прав на компенсацию, которыми располагал бы живой консультант. Он призвал FCA действовать быстро.
Подписывайтесь на наш канал на YouTube, чтобы смотреть экспертные комментарии лидеров и журналистов
Источник: BeInCrypto
