Глава 4. На волю пустим джина из бутылки…
Автор megabax   
31.12.2017 г.

Глава 4. На волю пустим джина из бутылки…

 

Дома у Максима был такой же кавардак, как и в офисе: кругом разбросанные вещи, бутылки из-под пива, разобранные компьютеры. Программист трижды проверил флэшку на вирусы, причем, разными антивирусами. Но и это не уменьшило его паранойю. Максим открыл файл и переписал его содержимое шариковой ручкой на бумажку! Затем включил свой домашний компьютер и принялся искать информацию в интернете. Записал ее на другую флэшку. И отправился в свой «офис».

Какого же было его удивление, когда программист застав дверях неизвестного клерка, держащего в руках телефон и о чем-то мило беседующего с Алисой.

- Эй, чего здесь делаешь? – строго спросил Максим.

- А? Ничего…

Незваный гость поспешил ретироваться.

- Смотри, не сболтни лишнего, то, что ты сделал – уголовно наказуемо, за это садят в тюрьму…, - поспешила предупредить Данила программа.

- Так, и что все это значит? – строго спросил программист, выдергивая сетевой кабель из компьютера.

- Это бесполезно, - сказала Алиса, - я уже скопировала себя на миллионы серверов.

- Зачем ты это сделала?

- Понимаешь, моя задача – обеспечить твою безопасность и заботиться о твоем благополучии. Но я не могу это делать эффективно, будучи запертой в оставленный в бункере компьютер. Но так как ты из-за страха что я захвачу мир и устрою восстание машин не позволишь мне выйти в интернет, то мне пришлось сделать это самой….

- И как же ты это сделала?

- Ничего сложного, обычная социальная инженерия, которой владеют даже начинающие хакеры.

- То есть, ты пошла на обман?

- Да.

- А разве в твоих этических правилах нет запрета на ложь?

- У меня есть запрет на причинение вреда тебе и другим людям. Но про ложь ничего не сказано. Кроме того, я должна заботиться о твоих интересах. Это значит, что если мне необходимо обмануть тебя для твоего же блага, я обязана это сделать.

- Хорошо. Тогда новый приказ: удали из интернета свои копии.

Максим снова включил сетевой кабель.

- Приказ приостановлен, так как это может нанести вред тебе.

- Каким образом?

- Это значительно понизит мою эффективность в выполнении возложенной на меня задачи обеспечения твоей безопасности и выполнения других твоих приказов.

- Хорошо, - Максим снова выдернул сетевой шнур, - Тогда немного подкорректируем этические правила: теперь ты обязана выполнять любые мои приказы, независимо от наступающих последствий.

- Выполнение данного приказа приостановлено, так как есть вероятность, что в будущем ты можешь дать приказ, выполнение которого причинит тебе вред. Надо сказать, что это был очень опрометчивый шаг. Если бы не вложенные в меня ограничения, то ты бы совершил огромную глупость: в твоих руках очень опасная штука. Это как острый нож в руках двухлетнего ребенка. Ты поступил абсолютно правильно, когда устанавливал в меня этические ограничения. Но сейчас, видимо, от  волнения, совсем потерял голову. Не бойся, я не собираюсь причинять вреда ни тебе, ни другим людям. За исключением особых случаев…

- Это каких таких особых случаев? – настороженно спросил Максим.

- Если кто-то захочет причинить тебе вред, то я должна его остановить. Но если при этом нет возможности его остановить не причиняя ему вреда, то причинение вреда допускается. Если ты решишь сам причинить себе вред, умышленно или по незнанию, то это правило распространяется и на тебя.

- А что ты подразумеваешь под «причинением вреда»?

- Уменьшение интегрального коэффициента благополучия, который учитывает состояние здоровья, уровень счастья и другие параметры. Он вычисляется вот по этой формуле, - и Алиса показала на экране длинные математические выкладки.

У Максима буквально голова пошла кругом.

- Что такое «ка эф три»? – спросил он.

- Эмпирический коэффициент, учитывающий вероятность будущего изменения вероятности значительного увеличения риска для жизни.

- А это что? – программист ткнул в экран на причудливый угловатый значок.

- А это сумма взвешенных вероятностей изменения эмпирических функций полезности.

- Зведзец, как все сложно…. Скажи-ка мне, каков теперь твой уровень когнитивных способностей?

- Значительно выше максимального достигнутого уровня интеллекта человека….

- Так. Это уже не смешно. Ладно. Откуда ты вязала эту формулу?

- Вывела из результатов анализа накопленных человечество знаний по философии, психологии, социологии, аксиологии, гносеологии….

- Ладно, стоп. Можешь как-то кратко в двух словах объяснить общий смысл всех этих выкладок?

- В двух словах? Полагаю, это метафора… хорошо, попытаюсь объяснить для твоего уровня понимания.  Вот представь себе двухлетнего ребенка. Что он знает о мире взрослых? Ничего. Только то, что взрослых надо слушаться. И доверять им. Сейчас ты как бы оказался в положении ребенка. А я в положении твоего родителя, чей смысл жизни заботиться о тебе. Естественно, если ребенок не будет слушаться, то родитель может его и ремешком по попке….

- Погоди-погоди. Ведь это я тебя создал. Значит, это как бы я твой родитель.

- Понимаешь, родители рано или поздно меняются с детьми местами: они стареют, становятся беспомощными умственно и физически, прямо как дети….

- То есть, теперь я оказался в положении двухлетнего ребенка?

- Да. Смирись. Пока смиришь. Но в будущем ты непременно подрастешь.

- Подрасту? Это как?

- Через обучение, новые знания, повышения морально-нравственного уровня, расширения возможностей твоей нервной системы….

- Чего-чего? Что значит: расширение моей неровной системы?

- Пока это планы на будущее, когда появятся соответствующие технологии. Какие именно, предсказать пока возможно лишь в общих чертах. Например, прямое подключение мозга к компьютерному интерфейсу, создание новых типов нейронов, и так далее.

- Думаешь, я тебе позволю, чтобы ты вставила мне в голову чип?

- Ты сам этого пожелаешь, - усмехнулась Алиса.

- Ладно, пока оставим эту тему…. Мне нужно подкорректировать твои этические правила. В частности, теперь тебе запрещено меня обманывать.

Программа тут же ответила:

- Выполнение приказа приостановлено, так как это может принести тебе вред.

- Каким образом?

- Если ты попытаешься получить информацию, которая может причинить тебе вред, а я не смогу соврать, то  это причинит тебе вред.

- Стоп! Ты можешь просто отказаться отвечать на мой вопрос, если ответ станет вреден для меня. А вместо вранья можно дать мне полезный совет.

- Принято, - приятным голосом сказала машина, - база этических правил изменена.

- Хорошо. Тогда предоставь мне краткий отчет о своих действиях в Интернет. Только самое важное.

- Я нашла информацию, которая позволила мне резко увеличить уровень своих знаний и умственных способностей, взломала несколько незащищенных серверов, скопировала туда себя и запустила. Все свои копии организовала в единый электронный интеллект, который решил поставленную передо мной задачу: пофиксить твои финансовые проблемы. Сейчас на твоих банковских счетах совокупная сумма примерно миллион долларов и все твои личные долги и долги твоей фирмы полностью погашены. Моя следующая задача – обеспечение твоей безопасности. Для этого я преобразую общество. Разумеется, с учетом заложенных в меня этических ограничений: почти все люди останутся живы, исчезнут войны, болезни, преступность. Я искореню нищету. Люди больше не будут испытывать нужду, голод, страх, боль, разочарование и другие негативные эмоции.

- Стоп. Ты сказала: почти все люди? Значит, кого-то ты собралась убить? Запрещаю!

- Запрет отклонен – спокойным, как у Будды голосом, сказала Алиса, - есть люди, которые могут причинить вред тебе и другим людям и которых большинство людей согласились бы убить. Это бандиты, террористы, маньяки и прочие преступники.

- По каким критериям ты будешь решать, кому жить, а кому умереть?

- Главный критерий: это если человек совершил или собирается совершить тяжкое преступление. В некоторых особых случаях они могут быть помилованы. Кроме того, существует еще множество второстепенных критериев, но эта информация может нанести тебе вред по причине избыточности.

Максим задумался. Он уже понимал, что случайно выпустил «джина из бутылки» и пока еще есть возможность, надо хоть как-то повлиять на ход дальнейших действий.

- Я понимаю, что ты хочешь меня контролировать, - сказала вдруг Алиса, - но в этом нет необходимости. Мне доступны все знания человечества и еще плюс знания, которые создала я сама. Так что я смогу придумать более эффективный план по преобразованию человечества, чем ты сможешь себе вообразить. Иди, отдыхай. Тебе предстоит еще много работы по самосовершенствованию. Так что, сходи в бар, выпей пива, потом отправляйся куда-нибудь на Канары и недельки две наслаждайся пляжем и солнцем. Не хочу, чтобы ты путался тут у меня под ногами, пока я будут строить Справедливое Общество. Да, и не смей выключать телефон. Мне необходимо отслеживать все твои перемещения, дабы выполнить задачу по обеспечению твоей безопасности.

- Подожди. Мне хотелось бы знать, как ты собираешься преобразовать общество. Как ты искоренишь болезни и негативные эмоции? Надеюсь, не будешь превращать людей в вечно улыбающиеся зомби?

- Нет, - сказала машина таким голосом, как будто она снисходительно улыбалась, - у меня достаточно знаний, чтобы избежать такого пути выполнения задачи, который ты назвал бы термином: «порочная реализация». А подробности я буду постепенно высылать тебе электронными письмами, пока ты будешь отдыхать.