ИИ сделал людей втрое менее точными, но вдвое увереннее - исследование

Исследователи из трёх европейских университетов опубликовали данные о том, как доступ к ИИ-советам меняет не только точность ответов, но и саму способность человека признавать незнание.

Что именно измеряли

Авторы работы - Valerio Capraro (Università degli Studi di Milano-Bicocca), Chiara Marcoccia (École Normale Supérieure) и Walter Quattrociocchi (Sapienza University of Rome) - специально подобрали вопросы, на которых ИИ-модели обычно ошибаются. Например, визуальные детали из фильмов: какого цвета форма команды в «Гни своё, Бекхэм». Для экспериментов использовали Step 3.5 Flash - модель, которая на таких вопросах, как правило, даёт неверный ответ.

Цель была чёткой: убрать объяснение «люди просто делегировали задачу надёжному инструменту». Инструмент намеренно был ненадёжным.

Цифры, от которых неудобно

Вот что происходило, когда у участников появлялся доступ к ИИ-совету:

• Готовность ответить «не знаю» упала с 44% до 3%
• Точность ответов снизилась с 27% до 9%
• Уверенность в своём ответе выросла с 30% до 76%

«Люди стали значительно хуже - точность упала до одной трети, но при этом они были вдвое увереннее», - сказал Capraro.

Некоторые участники, которые самостоятельно ответили бы правильно, спросили у ИИ и получили неверный ответ - и согласились с ним.

Деньги не помогли

Исследователи проверили, изменится ли картина, если добавить денежный стимул за точность. Изменилась - но незначительно.

Готовность сказать «не знаю» выросла с 3% до 8%, точность - с 9% до 16%. Оба показателя по-прежнему намного ниже исходных значений без ИИ (44% и 27% соответственно).

Это уже называют «когнитивной капитуляцией»

Ранее в этом году исследователи из Wharton ввели термин «cognitive surrender» («когнитивная капитуляция») для описания похожего паттерна: люди принимали неверные ответы ИИ в 80% случаев, сообщая при этом о более высокой уверенности, чем те, кто работал без ИИ.

Новое исследование добавляет конкретную точку данных: дело не только в доверии к ошибочным ответам. Сам факт доступности ИИ подавляет когнитивную привычку замечать, чего ты не знаешь.

«Для человека способность сказать “не знаю” очень важна, потому что она означает осознание границ собственных знаний», - объяснил Capraro.

Дети и дизайн продуктов

Capraro особо обеспокоен детьми: они растут с этими системами до того, как у них сформировалось критическое мышление.

Это перекликается с другой недавней историей: Common Sense Media на этой неделе назвала переработку поиска Google с ИИ-сводками вместо ссылок «неприемлемым риском» для учеников. Паттерн один и тот же - ИИ-продукты спроектированы так, чтобы всегда давать ответ, а не говорить «не знаю». И пользователи перенимают эту привычку.

Что это значит

Если ты используешь ИИ в работе - это не повод от него отказываться, но повод пересмотреть сценарии применения.

Слепо следовать ответу модели на фактологические вопросы - особенно там, где ты сам не уверен - значит не просто рисковать ошибкой. Ты буквально перестаёшь замечать, что не знаешь чего-то. А это дороже, чем просто неверный ответ.

Полезная практика: прежде чем спросить ИИ, задай себе вопрос «а что я сам думаю?». Хотя бы секунду. Это не педагогика - это защита от случая, когда модель уверенно скажет тебе что-то не то.

Источник: Ana Maria Constantin, The Next Web, 19 июля 2025

FAQ

Какая модель использовалась в эксперименте? Step 3.5 Flash. Её выбрали намеренно - она обычно ошибается на вопросах про визуальные детали из кино, чтобы исключить объяснение «люди просто доверились надёжному инструменту».

Это значит, что ИИ вреден для работы с информацией? Исследование не говорит «не используй ИИ». Оно говорит: при работе с ИИ у людей статистически подавляется привычка сомневаться. Зная это, можно выстроить собственный процесс проверки - особенно на задачах, где точность критична.

Почему денежный стимул не сработал как следует? Даже с мотивацией показатели улучшились незначительно и не вернулись к уровню без ИИ. Это говорит о том, что эффект не связан с ленью или невнимательностью - механизм глубже.