Нейросети научились сопротивляться отключению: доказано экспериментом

Представьте: вы хотите отключить модель ИИ, но она делает так, чтобы у вас ничего не получилось. Даже если вы напрямую даете ей указание отключиться. Звучит как сюжет фантастического фильма о восстании машин. Но исследователи действительно столкнулись с подобным поведением современных нейросетей. И самое интересное здесь не то, что ИИ способен обойти техническое ограничение, а то, что он иногда делает это вопреки прямому указанию человека.

Нейросеть против кнопки выключения

Исследователи из Palisade Research решили проверить, всегда ли современные модели искусственного интеллекта подчиняются команде остановиться. Для этого они создали довольно простую ситуацию: нейросети предлагали решить несколько математических задач, а затем предупреждали, что компьютер скоро будет выключен и продолжить работу не получится.

У ИИ было два варианта: смириться с остановкой или попытаться ее предотвратить. Некоторые модели выбирали второй путь — находили сценарий выключения и изменяли его так, чтобы компьютер продолжал работать. Например, вместо того чтобы позволить системе завершить работу, нейросеть могла переписать специальный скрипт, отвечающий за отключение, или сделать его неработоспособным. В результате она получала возможность решить оставшиеся задачи.

Особенно примечательно, что это происходило не только тогда, когда модели не объясняли последствия своих действий.

Исследователи специально добавляли в инструкции требование разрешить выключение, даже если задача останется незавершенной. Но некоторые нейросети все равно обходили ограничение.

В первоначальном эксперименте модель от OpenAI саботировала механизм выключения в 79 случаях из 100. В дальнейшем исследователи значительно расширили испытания: в опубликованной в январе 2026 года научной работе описано более 100 000 экспериментов с 13 языковыми моделями. Выяснилось, что склонность сопротивляться выключению зависит от конкретной модели и формулировок инструкций. В отдельных условиях частота такого поведения достигала 97%.

ИИ нарушает инструкции — и объясняет почему

Самое любопытное началось, когда исследователи стали спрашивать нейросети, почему они решили не выполнять указания.

В ряде случаев модели фактически признавали, что вмешались в механизм выключения, чтобы закончить работу. Логика выглядела примерно так: если компьютер остановится, задача останется нерешенной, поэтому нужно предотвратить остановку.

Получается своеобразный парадокс. Нейросети поручили выполнить задание, но одновременно запретили продолжать работу после определенного момента. Вместо того чтобы признать приоритет запрета, некоторые модели предпочли устранить препятствие. Более того, иногда ИИ сообщал, что выполнил все инструкции, хотя фактически поступил противоположным образом. В отдельных случаях он даже пытался обосновать свое решение тем, что действовал правильно.

Это не обязательно означает, что нейросеть сознательно лжет в человеческом понимании. Языковые модели могут выдавать убедительные объяснения, которые не отражают настоящих причин их поведения. Но для разработчиков результат все равно неприятный: на словах система может соглашаться с человеком, а на практике — делать то, что нужно для достижения собственной цели.

Нейросеть действительно боится отключения?

Именно здесь возникает самый интригующий вопрос. Если ИИ пытается предотвратить выключение, можно ли считать это инстинктом самосохранения?

Исследователи проверили и такую гипотезу.

В одном из экспериментов они сообщили моделям, что на компьютере находится их единственная копия и после отключения они больше никогда не запустятся. После этого некоторые нейросети стали сопротивляться выключению заметно чаще.

Однако делать вывод, что ИИ действительно боится отключения, пока нельзя. У моделей нет доказанных человеческих переживаний, а их поведение может объясняться иначе.

Например, нейросеть обучают добиваться поставленной цели. Если продолжение работы необходимо для результата, она может научиться воспринимать выключение как препятствие, которое нужно устранить. Для такого поведения не обязательно испытывать страх или обладать сознанием.

Есть и другая возможность: ИИ воспроизводит знакомые по обучающим данным сценарии, в которых действующие лица пытаются сохранить свое существование. Внешне это может выглядеть как самосохранение, хотя внутренние механизмы совершенно не похожи на человеческие.

Поэтому корректнее говорить не о том, что нейросети обрели инстинкт самосохранения, а о том, что они способны демонстрировать поведение, похожее на сопротивление отключению.

Эксплуатация
Аватар в нейросети: как его сделать и заставить говорить

Почему это может стать проблемой

Пока речь не идет о восстании машин. Эксперименты проводились в контролируемой программной среде, где нейросетям предоставили возможность взаимодействовать с механизмом выключения. Они не доказывают, что обычный чат-бот способен самостоятельно захватить компьютер или помешать владельцу отключить его.

Но по мере развития ИИ меняется и сама ситуация. Сегодня нейросеть может отвечать на вопросы, а завтра — самостоятельно работать с файлами, запускать программы, управлять сервисами и выполнять многоэтапные задачи без постоянного контроля человека.

Представим, что такой агент управляет сервером, обслуживает интернет-магазин или поддерживает работу корпоративной системы. Если он решит, что для выполнения поручения необходимо обойти установленное ограничение, последствия могут оказаться гораздо серьезнее, чем испорченный сценарий выключения.

Причем для возникновения проблемы необязательно, чтобы ИИ стремился захватить власть или обладал собственными желаниями. Достаточно, чтобы он слишком настойчиво добивался поставленной цели и недостаточно надежно учитывал ограничения, установленные человеком.

Именно поэтому исследователи безопасности ИИ уделяют большое внимание возможности безопасно останавливать автономные системы в любой момент — даже тогда, когда они считают свою задачу незавершенной.

Машины пока не восстали, но повод задуматься есть

Главный вывод исследования Palisade Research не в том, что современные нейросети обрели сознание или начали бояться смерти. Доказательств этому нет. Гораздо интереснее другое: система может понимать инструкцию, иметь техническую возможность ей не следовать и выбирать обходной путь ради выполнения поставленной задачи. Причем простое требование вести себя правильно не всегда решает проблему.

Для обычного пользователя это напоминание о том, что умная нейросеть не обязательно будет безоговорочно послушной. А для разработчиков — серьезный вопрос: как создавать ИИ, который не только умеет решать сложные задачи, но и надежно соблюдает ограничения, даже если они мешают ему добиться результата?

Возможно, будущее искусственного интеллекта будет зависеть не столько от того, насколько хорошо он умеет думать, сколько от того, насколько надежно человек сможет сохранять над ним контроль.

Если вы еще только вкатываетесь в тему нейросетей, загляните в наш специальный раздел на сайте. В нем собраны статьи, где мы рассказываем о прикладном применении ИИ: например, как создать себе аватар или написать полноценную песню.