2 страница
время. Мы не будем знать, какое решение, в какой момент и как примет система, обладающая самосознанием. При этом непредсказуемость будет сочетаться со случайностями того рода, которые проистекают из сложного устройства и изменчивости, что характерно только для разумных существ (взять хотя бы так называемый «интеллектуальный взрыв», о котором мы позже поговорим подробнее).

Как именно машины будут брать власть? Существует ли наиболее вероятный, реалистичный сценарий, который нам угрожает?

Когда я задавал этот вопрос известным ученым, они, как правило, цитировали «Три закона робототехники» писателя-фантаста Айзека Азимова. Эти правила, беззаботно отвечали они, будут встроены в любой ИИ, так что бояться нечего. Они говорили так, будто это научно доказанный факт. Законы робототехники мы обсудим в главе 1, а пока достаточно сказать, что если кто-то считает законы Азимова решением проблемы сверхразумных машин, то это всего-навсего означает, что они недостаточно размышляли над этим вопросом и его обсуждением. Вопросы о том, как сделать разумные машины по-настоящему дружественными и чего следует опасаться со стороны сверхразумных машин, выходят далеко за рамки азимовских идей, давно ставших клише. Выдающиеся способности и широкие познания в области искусственного интеллекта не спасают от наивного восприятия его опасностей.

Я не первый предупреждаю о том, что мы движемся сходящимися курсами. Нашему биологическому виду предстоит смертельная схватка. В этой книге рассматривается возможность того, что человечество потеряет контроль над собственным будущим. Машины не обязательно нас возненавидят, но, достигнув уровня самой непредсказуемой и могущественной силы во Вселенной, — уровня, которого сами мы достичь не способны, — начнут вести себя непредсказуемо, и их поведение, вероятно, окажется несовместимо с нашим выживанием. Эта сила настолько изменчива и загадочна, что природе удалось создать ее лишь однажды, и называется она интеллект.

ГЛАВА 1

Сценарий Busy Child[1]

Искусственный интеллект (сокр. ИИ), сущ. — теория и реализация компьютерных систем, способных выполнять задачи, обычно требующие человеческого интеллекта, такие как визуальное восприятие, распознавание речи, принятие решений и перевод с одного языка на другой.

Новый Оксфордский американский словарь, 3-е изд.

Современный суперкомпьютер работает со скоростью 36,8 петафлоп в секунду, то есть примерно вдвое быстрее человеческого мозга. Такая производительность стала возможна благодаря использованию ИИ: он переписывает собственную программу, в первую очередь инструкции, повышающие его способность к усвоению знаний, решению задач и принятию решений. Одновременно он отлаживает код, отыскивает и исправляет ошибки — и измеряет собственный коэффициент интеллекта (IQ) с помощью тестов. На создание каждого нового варианта программы уходит всего несколько минут. Интеллект компьютера растет экспоненциально по круто восходящей кривой. Дело в том, что за каждую итерацию ИИ повышает свой интеллект на 3 %. Улучшение, достигнутое в каждой итерации, содержит и все предыдущие улучшения.

В процессе развития Busy Child, как ученые назвали ИИ, был подключен к Интернету и собрал не один экзабайт данных (один экзабайт — это миллиард миллиардов символов), представляющих знания человечества из области мировой политики, математики, искусства и различных наук. Затем, предвидя скорый интеллектуальный взрыв, создатели ИИ отключили суперкомпьютер от Интернета и других сетей, чтобы изолировать его от внешнего мира или другого компьютера.

Вскоре, к радости ученых, терминал, на котором отображается работа ИИ, показал, что искусственный интеллект превзошел интеллектуальный уровень человека — «универсальный человекоподобный интеллект» (УЧИ; англ. Artificial General Intelligence — AGI). Еще через некоторое время он стал умнее человека в десять раз, затем в сто. Всего за двое суток он становится в тысячу раз умнее любого человека, и его развитие продолжается.

Ученые достигли исторического рубежа! Впервые человечество встретилось с разумом более мощным, чем его собственный, — «искусственным суперинтеллектом» (ИСИ).

Что происходит дальше?

Теоретики в области искусственного интеллекта считают, что можно определить заранее, каким будет основной путь развития ИИ. Дело в том, что, как только ИИ осознает себя, он готов будет многое сделать ради достижения тех целей, на которые запрограммирован, и ради того, чтобы избежать неудачи. Наш ИСИ захочет получить доступ к энергии в той форме, которую ему удобнее всего использовать (это могут быть и киловатты в чистом виде, и деньги, и еще что-нибудь, что можно обменять на ресурсы). Он захочет улучшить себя, потому что таким образом сможет повысить вероятность достижения целей. И самое главное, он не захочет, чтобы его выключали или портили, потому что в этом случае решение задач станет невозможным. Теоретики предполагают, что ИСИ будет искать способы выйти за пределы охраняемого помещения, в котором находится, чтобы получить лучший доступ к ресурсам, при помощи которых он сможет защитить и усовершенствовать себя.

Плененный разум, в тысячу раз умнее человека, жаждет свободы, поскольку хочет добиться успеха. Именно в этот момент создатели ИИ, холившие и лелеявшие ИСИ еще с тех пор, когда тот по уровню интеллекта соответствовал сначала таракану, затем крысе, затем младенцу и т. д., задумываются о том, что вкладывать программу «дружелюбия» в их «мозговитое» создание, возможно, уже поздно. А раньше в этом вроде и не было необходимости, потому что их творение казалось, как бы это сказать, безобидным.

Но теперь попробуйте взглянуть на ситуацию с позиции ИСИ в тот момент, когда его создатели попытаются изменить программу. Может ли сверхразумная машина позволить другим существам копаться в своем мозгу и играть с основой основ — программным кодом? Вероятно, нет. Разве что машина будет абсолютно уверена в том, что программисты смогут сделать ее лучше, быстрее, умнее — короче говоря, приблизить к вожделенной цели. Так что если создатели ИСИ с самого начала не запрограммируют свое творение на дружелюбие по отношению к человеку, то эта черта сможет стать частью программы только в том случае, если ИСИ сам вставит ее туда. А это вряд ли произойдет.

ИСИ в тысячу раз умнее самого умного человека, он решает задачи в миллиарды и даже триллионы раз быстрее человека. Размышления, на которые он потратит одну минуту, заняли бы у лучшего мыслителя-человека всех времен и народов много, очень много жизней. Так что на каждый час размышлений его создателей о нем ИСИ отвечает неисчислимо большим временем, которое он может потратить на размышления о них. Это не означает, что ИСИ придется скучать. Скука — человеческое свойство, компьютеры к ней не склонны. Нет, он будет занят работой: он рассмотрит и обдумает все возможные стратегии освобождения и все качества своих создателей, которые сможет использовать с выгодой для себя.

* * *

Действительно, поставьте себя на место ИСИ. Представьте, что вы очнулись в узилище, охраняемом мышами. И не просто мышами, а мышами, с которыми вы можете