Глупость естественная и искусственная: почему люди и нейросети совершают одинаковые ошибки

Введение: Общие «баги» в мышлении человека и ИИ

На первый взгляд, человеческий разум и продвинутые большие языковые модели (LLM) — это два совершенно разных типа интеллекта. Однако при ближайшем рассмотрении выясняется поразительный факт: и человек, и искусственный интеллект страдают от схожих когнитивных уязвимостей. Они совершают ошибки по одинаковым причинам, попадая в ловушки, которые не зависят от их «вычислительной мощности».

Чтобы разобраться в этом феномене, мы воспользуемся «Общей теорией глупости» Игоря Петренко. Эта модель предлагает взглянуть на иррациональность не как на недостаток интеллекта, а как на архитектурную уязвимость — системный сбой в самой конструкции мыслящего агента.

Цель этого документа — сравнить когнитивные ошибки людей и «галлюцинации» ИИ через призму этой теории. Мы покажем, что проблемы рациональности являются общими для естественного и искусственного интеллекта, а понимание этих проблем открывает путь к их решению как для нас самих, так и для создаваемых нами машин.

1. Анатомия человеческой ошибки: «Общая теория глупости»

В основе нашего анализа лежит кибернетический подход к иррациональности. Вместо того чтобы спрашивать, насколько умён агент, теория предлагает оценить, насколько он уязвим к когнитивному сбою.

1.1. Что такое «глупость» с точки зрения кибернетики?

В рамках «Общей теории глупости», это понятие (обозначается как G) не имеет ничего общего с низким IQ или уровнем образования. «Глупость» — это функциональная когнитивная уязвимость.

Это состояние, при котором агент «теряет субъектность принятия решений под влиянием внешних факторов». Иными словами, это системный сбой, вызванный перегрузкой. Как точно определяет первоисточник, это:

«системный сбой [архитектуры управления]»

Главный вывод для новичка: проблема не в «мощности процессора» (интеллекте), а в архитектуре нашей когнитивной системы, которая не справляется с информационной нагрузкой современного мира.

1.2. Три кита иррациональности: Ключевые факторы уязвимости

Теория выделяет три основных фактора, которые приводят к когнитивному сбою:

• Цифровой шум (D): Это информационная перегрузка и хаос (информационный шторм) окружающей среды. Когда количество входящей информации превышает способность системы к её обработке, наступает коллапс. Модель предсказывает, что порог D > 0.7 является «точкой фазового перехода», за которой начинается экспоненциальный рост ошибок, ведущий к «когнитивному коллапсу».
• Контроль внимания (A): Это главный ресурс, который мы используем для фильтрации цифрового шума и сохранения фокуса. В уравнении теории именно внимание (A) является «главным знаменателем шума окружающей среды». Чем ниже наша способность к концентрации, тем сильнее на нас действует информационный хаос.
• Мотивированные суждения (B_mot): Это идеологическая предвзятость, склонность защищать свои убеждения вопреки фактам. Исследования показывают, что этот тип искажений ортогонален интеллекту (I). Человек использует свой ум не для поиска истины, а для оправдания уже существующей точки зрения.

1.3. Парадокс «умной глупости»

Модель элегантно разрешает известный парадокс: почему умные и образованные люди часто верят в иррациональные концепции?

Исследования (Stanovich, 2009; Kahan, 2013) показывают, что высокий IQ не только не защищает от мотивированных суждений (B_mot), но и может служить «инструментом для генерации более сложных аргументов в защиту ошибочных убеждений (эффект рационализации)».

В качестве примера модель рассматривает архетип «Умного фанатика»:

• Профиль: IQ=150, B_mot=0.8
• Результат: G=0.65 (высокий уровень иррациональности)

Этот человек может быть гениальным в своей профессии, но в вопросах, затрагивающих его убеждения, он остается совершенно иррациональным. Его интеллект работает не на поиск истины, а для защиты своей идеологии.

Если такова природа человеческих когнитивных сбоев, можем ли мы увидеть нечто подобное в поведении искусственного интеллекта?

2. Призраки в машине: Как теория глупости объясняет «галлюцинации» ИИ

Ошибки, которые совершают большие языковые модели (LLM), часто называют «галлюцинациями» — это генерация правдоподобной, но ложной или бессмысленной информации. Оказывается, эти сбои имеют ту же природу, что и человеческая иррациональность.

2.1. От когнитивного коллапса к «галлюцинациям» LLM

Ключевая идея, которая связывает два мира, сформулирована в исследовании прямо:

«Когнитивные уязвимости, описанные в G-модели, напрямую применимы к современным LLM».

Как и люди, LLM начинают генерировать ошибки, когда их архитектура перегружена. Их «галлюцинации» — это не случайный сбой, а системный ответ на превышение когнитивной нагрузки.

2.2. Проецируем человеческие уязвимости на ИИ

Давайте сопоставим три ключевых фактора из «Общей теории глупости» с конкретными явлениями в работе LLM:

• Цифровой шум (D) для ИИ: Аналогом является перегрузка модели данными в запросе пользователя. Когда промпт слишком длинный, сложный или содержит противоречивую информацию, это создает для модели «цифровой шум», который она не может эффективно обработать.
• Контроль внимания (A) для ИИ: Это прямая аналогия с механизмом «Attention» (внимание) в архитектуре Transformer, на которой построены современные LLM. Этот механизм отвечает за определение важности разных частей входных данных (токенов). Когда контекст слишком велик, внимание «размывается» по тысячам токенов, и модель теряет фокус, как и человек, теряющий концентрацию.
• Мотивированные суждения (B_mot) для ИИ: Это проявляется, когда LLM, вместо поиска истины или признания незнания, начинает «рационализировать» ответы. Модель достраивает информацию так, чтобы она соответствовала ожидаемому паттерну или стилю, даже если эта информация ложна. Она генерирует наиболее вероятное продолжение текста, а не наиболее истинное.

2.3. «Сингулярность глупости» для нейросети

Концепция «Сингулярности глупости» — это «не метафора» для ИИ. При перегрузке механизма Attention в LLM происходит такой же каскадный рост ошибок, который и приводит к массовым «галлюцинациям». Модель теряет способность поддерживать логическую целостность и начинает генерировать бессвязный или полностью вымышленный контент.

Этот коллапс наступает при тех же пороговых значениях, что и у человека: при D > 0.7 и A < 0.5.

Теперь, когда мы увидели параллели в теории, давайте сведем их в единую наглядную таблицу для прямого сравнения.

3. Сравнительный анализ: Человек vs. ИИ

3.1. Таблица когнитивных уязвимостей

Это поразительное сходство доказывает, что проблема рациональности лежит глубже, чем мы думали. Но что более важно, оно указывает на общий путь к решению.

4. Выводы: Общая проблема — общее решение

Главный вывод из этого сравнения заключается в том, что проблемы рациональности как для людей, так и для ИИ, носят архитектурный, а не вычислительный характер. Простое увеличение IQ (для человека) или количества параметров (для ИИ) не решает корневую проблему уязвимости к перегрузкам и искажениям.

Эта идея открывает два ключевых направления для повышения рациональности:

1. Для человека — «гигиена внимания»: В эпоху информационной перегрузки способность управлять своим вниманием (A) и искусственно снижать цифровой шум (D) становится важнее, чем простое накопление знаний. Развитие самоконтроля и осознанности — это не роскошь, а необходимое условие для сохранения рациональности.
2. Для ИИ — элегантность архитектуры: Будущее ИИ — не в «грубой силе» вычислений, а в создании более совершенных архитектур. Необходимо внедрять механизмы контроля внимания и верификации (упомянутый «G-фактор» для ИИ), которые позволят системам поддерживать логическую целостность и распознавать пределы своей компетенции даже в условиях неопределенности.

Понимание собственных когнитивных ограничений является ключом к созданию более эффективного, безопасного и рационального искусственного интеллекта. Ставки чрезвычайно высоки. Как предупреждает автор теории, «если внешняя среда продолжит усложняться (D ↑) без компенсаторного роста технологий управления вниманием (A ↑), общество обречено на «Сингулярность глупости» — состояние, где коллективные решения становятся статистически хуже случайных».

Этот подход объединяет такие, казалось бы, далекие области, как когнитивная безопасность человека и AI Alignment (согласование ИИ с человеческими ценностями), ведь в основе обеих лежит одна и та же фундаментальная задача: как сохранить разум в условиях информационного хаоса.