Еще один глобальный риск: испортить или заразить матрицу



страница26/27
Дата27.04.2016
Размер4.75 Mb.
ТипКраткий обзор
1   ...   19   20   21   22   23   24   25   26   27

Еще один глобальный риск: испортить или заразить матрицу
Допустим, мы живем в симуляции. Обычно считается, что риск состоит в том, что симуляция выключится, или в ней будет тестироваться некий способ гибели цивилизации.

Возможно, мы сами будем виноваты в ее выключении, если сделаем или не сделаем нечто, чего она от нас ждет - достигнем некого порога в развитии, будем скучными, или провалим некий неведомый нам экзамен - но это нечто, что нельзя предугадать.

Скорее всего, упрощенные и дешевые симуляции доминируют среди общего числа симуляций. И тогда мы можем случайно или нарочно ее испортить.

Например, заставив произвести сверхсложные вычислений с делением на ноль, которые подвесят центральный компьютер симуляции, или создав вирус, который поразит центральный компьютер, или лайф хак, который взорвет весь наш мир.


В некотором смысле, находишься ли ты в симуляции, можно проверить, так как по определению - симуляция это компьютер, более простой, чем та физическая реальность, которую он изображает. Соответственно, он просто не может просчитать задачи определенного класса сложности, и должен прибегнуть к упрощениям или помешать нам поставить такую задачу, что уже было бы чудом, то есть нарушением физических законов.

А создать чудо - это верный способ для симуляции проколоться. Именно так в Солярисе герой проверят не спит ли он - дает сложную задачу компьютеру, а потом пересчитывает от руки — измеряя, таким образом, объем вычислительных ресурсов симуляции - своего сна то есть.

Магия через забывание — и теория копий
Обычно магия представляется как парасимпатическая магия — то, что человек визуализирует, то и материализуется.

Рассмотрим некое существо, у которого миллиард возможных состояний, то есть его реакций на внешние раздражители плюс оценки и мыслей по этому поводу. Допустим, его укусил синий тарантул, и это очень редкое событие в его мире.

Он может рассуждать следующим образом: я принадлежу к тому подмножеству моих копий, которые знают, что их укусил синий тарантул. Затем я могу полностью сосредоточить своё внимание на солнце. Теперь моё состояние сознания полостью захвачено солнцем, и я принадлежу множеству всех тех моих копий, которые смотрят на солнце. Это множество гораздо больше множества тех, кто укушен синим тарантулом (в сто раз). В силу принципа blind indifference я могу быть с равной вероятностью любой из копий, которая смотрит на солнце, из них только одна сотая укушена тарантулом. Таким образом, шансы на то, что я был укушен синим тарантулом, снизились в сто раз. Трюк в том, чтобы полностью забыть об укусе тарантула, концентрируясь на солнце, что не просто.

Это может быть превращено и в симпатическую магию. Если я поверю, что у меня в кармане лежит сто долларов, и при этом почти полностью забуду, что их у меня нет, то я окажусь принадлежащем к большому классу людей, у которых регуляоно бывает в кармане сто долларов.

Поскольку такую магию нельзя доказать ни для внешнего объекта (потому что учитываются все его копии, находящиеся в неведомых мирах), ни для самого себя (потому что нужно забыть, что чего-то не было), то она неизмерима статистическими методами, но при этом может ощущаться субъективно — «кажется, я намагнитил свою жизнь в лучшую сторону».

На лессронг есть похожая тема. Допустим, мы живем в симуляции, которая симулирует мир прошлого. Поскольку она симулирует мир прошлого, то для его воссоздания используются письменные источники информации о прошлом. Значит, делает финт ушами автор, можно в некотором смысле влиять на авторов симуляции, манипулируя тем, о чем мы оставляем больше информации, а о чем скрываем. Здесь, конечно, присутствует порочная логика, поскольку используются данные о реальном мире, а эффекты обмана могу действовать только в иллюзорном, а в нем скрыть ничего нельзя.



http://lesswrong.com/r/discussion/lw/fgl/simulationist_sympathetic_magic/

И кстати, один из аргументов против симуляции — это то, что, возможно, некто имеет больше шансов обнаруживать себя реализуемым с большей степенью подробности в более сложном компьютере. Поскольку такой сложный компьютер может рассматриваться как одновременный запуск большого числа простых копий. сложность грубо говоря состоит в том, что он просчитывает в десять раз подробнее каждое переживание. для простоты скажем, что он его повторяет – то есть каждый пиксель просчитывается десять раз. это в некотором смысле аналогично запуску десяти копий. То есть тут сложность (или энергия) выступает как мера существования.

При этом наибольший выигрыш будет иметь квантовый компьютер, поскольку он реализует бесконечно сложные вычисления, и биологический компьютер, за счет своей сложности и запутанности. А именно им является живой мозг человека в мультиверсе. То есть, хотя число симуляций может быть велико, неравные шансы обнаружить себя в симуляциях разных типов будут усиливать шансы обнаружить себя в физической реальности. Поскольку физическая реальность — это наиболее сложная вычислительная среда, а все остальные симуляции только используют ее ресурсы.
Есть много возможностей изучать внешнюю реальность, находясь в симуляции
Например, большинство симуляций в нашем мире имеет некоторое сходство с реальностью, и если бы инопланетянам достались только наши сны или романы, то они хорошо бы изучили и саму реальность. То есть статистически большинство симуляций изображают реальность, и мало вероятно, что мы попали в особую симуляцию, которая слишком сильно ее искажает.

То есть ноль входящей информации позволяет все равно что-то узнать, например, объем вычислительных ресурсов симуляции — более того, его можно измерить, задав достаточно сложную задачу, точнее, увидеть его минимальное значение. Если мы в симуляции, то она не на микрокалькуляторе, по крайней мере.

Если мы считаем, что находимся в симуляции, то по определению, есть нечто, что нас симулирует, то есть мы не можем изучать устройство, осуществляющее симуляцию, но можем предполагать, что оно существует, и оценивать его вычислительную мощность. А раз симуляция по определению вычисляется с упрощениями по отношению к изображаемой ею физической реальности (иначе это не симуляция, а просто созданная реальность), то обязан быть уровень сложности, на котором она буксует.

Внутри симуляции могут быть ошибки или чудеса, позволяющие проникнуть к подлинной реальности.

Например, владельцы симуляции могут сообщить о своем существовании — или их можно вынудить это сделать. Для огромного множества симуляций есть действия ее обитетелей, которые неприемлемы — может это особо жестокий геноцид, а может более менее успешная попытка вырваться из симуляции или наоборот, особо скучная жизнь.

Если интеллект, закрытый внутри симуляции, выше интеллекта существа, которое создало симуляцию, то запертый найдет способ вырваться. Об этом был красивый пост юдковского на лессронге. Студент, заперший суперинтеллект в доморощенной игре типа Doom, обречен. То есть симуляция — это не про то, кто управляет движущимися картинками, а про сражение интеллектов — и тот, кого симулируют, слабее.

http://lesswrong.com/lw/qk/that_alien_message/
Для того, чтобы захватить и-или уничтожить мир, вовсе не нужен ИИ, способный к самоапгрейту, тем более к неограниченному.
Вполне достаточно немного более быстрой способности комбинировать протеины (и рассчитать вирус), просчитывать возможности, анализировать данные. Особенно, если в этом помогает и участвует группа людей, задающая цели, контролирующая процесс и выполняющая роль блока здравого смысла. То есть опасный ИИ — это не самосознающая машина с неограниченными возможностями. Это скорее гиперторфированный Watson в руках Агентства национальной безопасности и несколько талантливых и честолюбивых программистов и офицеров. Это ближе к Stuxnet, чем к солярису. В целом, для победы ИИ важно его превосходство над остальными ИИ в мире , и оно как раз может возникнуть очень рано. Подобно тому, как США имели абсолютное преимущество только в первые годы ядерной гонки, до 1949.

И такой неэзотерический ИИ гораздо проще представить. Он гораздо ближе, и путь к нему вполне очевиден. Его самоапгерйт — это покупка новых модулей памяти и подключение модулей новых алгоритмов поиска данных, а не переписывание своей структуры с нуля.

Если начать думать о специализированном ИИ, то алгоритм есть весьма простой. я создаю смертельный вирус и затем заявляю, что или весь мир мне подчиняется, или я его весь уничтожаю. тут ИИ нужен для создания вируса только.
Другой вариант специализированного ИИ - взлом систем управления ядерным оружием, хотя бы на одной подводной лодке. Или нечто вроде геополитического каспарова, в той мере, в какой геополитика формализуема.
Грады против дронов
Приятно видеть, в некотором смысле, как твои прогнозы сбываются. С детства я всегда удивлялся, зачем террористы взрывают бомбы — ведь всегда проще сделать ракету, пусть и неуправляемую. Наконец они это поняли. Когда началась война в Чечне, я все думал, как можно ее остановить, и наиболее эффективным оружием мне казались боевые радиоуправляемые вертолеты с подвешенным снизу огнестрельным оружием, которые могли бы выслеживать лидеров боевиков. Это гораздо эффективнее, чем носится по городу в танке Т-72, и дешевле, и жертв меньше.

Теперь дрон стал основным оружием современности, а ракета основным оружием террориста. И вот они схлестнулись в небе над Газой. Очевидный шаг в дальнейшем использовании дронов — это создание системы непрерывного мониторинга территории противника, которая позволила бы наносить удар по месту старта ракеты сразу после запуска, тес самым отбив всякое желание ее запускать. Ответный шаг – использование авиамоделей как мини-дронов со взрывчаткой (их уже запретили продавать в некоторых странах), при этом меньшая скорость может компенсироваться большей точностью за счет GPS. Да и собрать небольшой дрон можно почти из подручных материалов.

Все это ведет к войне роботов в небе, но интереснее, когда она начнется на земле. У Йена Макдональдса в романе «Река богов» небольшие роботы, размером с кошку, прокрадываются на территорию противника и взрывают ключевые электростанции, а маленькие роботы-шпионы на ножках рыщут в зданиях в фильме «Особое мнение». Ответ условных террористов на это очевиден — зарываться в землю. Тоннели Газы, северокорейские тоннели, и разветвленная система тоннелей в Китае, где хранится ядерное оружие подземные комплексы всякие типа Фордо в Иране или Тора-Боры в Афганистане, — вот будущее подземных войн. И технологии горизонтального бурения становятся военными – поскольку позволяют искать вражеские туннели.

Троллинг о говорящей змее

Одного американского сенатора спросили, верит ли он в библию. Он, конечно, сказал, что верит. И тогда его спросили верит ли он в изгнание из рая. Он тоже сказал, что верит. Тогда его переспросили — правильно ли его поняли, что он верит в говорящую змею. И тут он понял, что попал.

Тоже касается и однонейронной теории сознания. Если я способен сознательно понимать этот текст, и если я делаю это с помощью одного нейрона, то следует ли из этого, что нейрон способен понимать текст? А весь остальной мозг тогда зачем?


История о становлении загруженного человека в сверх ИИ
Лучший способ избежать торжества враждебного ИИ - это самому стать ИИ. Альтернатива этому - или быть им убитым, или быть домашним животным, сохраненным из милости и благодарности, на интересной пенсии, с прекрасной медициной и интересным телевизором и надеждой, что тебя не выключат в любой момент - и без надежды понять, что происходит на самом деле. Но это все равно ад и потеря, по сравнению с тем, кем бы ты мог стать, если бы стал главным и единственным ИИ на Земле.

Путь к этому - плавный перенос сознания в компьютер, скажем, путем постепенной замены нейронов микрокомпьютерами. Плавный, потому что он обеспечит непрерывность. То есть превращение в эмо. В смысле в эмуляцию.

при этом - не кого-то вообще, а именно меня. Затем ускорение себя родного, чтобы за секунду протекали годы, чтобы можно было не спешить.

Потом последует плавный осторожный самоапгрейт. Он должен состоять из простых и понятных на каждом этапе шагов, чтобы не было так, что я подключил некий суперблок, и теперь, вместо меня, он всем заправляет. Нет, я понемногу увеличиваю память, расширяю рабочую память, ускоряю прохождение сигналов. Я анализирую принципы мышления и добавляю к себе все более эффективные. Я не пользуюсь микрокалькулятором - я учусь быстро считать. Мозг человека способен, были такие люди, перемножать шестизначные числа почти мгновенно. Я могу этому научится, подрастив соответствующие нейронные связи. Таким образом, я научаюсь перемножать не только шести, но и десятизначные числа. Я истребляю возможность ИИ-конкурента, становясь быстрее него, делая его ненужным. Я исправляю и свою систему целей, делаю себя упорным и неутомимым учеником, но я все еще почти человек, просто сочетающий в себе все лучшее от всех лучших людей, и более того.

Я становлюсь спецом в интернете, хаккером-профессионалом, а также трейдером на рынках. Я расширил объём своего мгновенного сознания так, что одновременно могу думать о ста вещах. После этого я выхожу в сеть и начинаю подчинять себе ресурсы интернета. В начале я делаю немного: я распространяюсь по тысячам компьютеров, и распрстраняю свой исходный код на множество независимых серверов. Я нетрадиционный ботнет - я использую личное убеждение, чтобы побудить людей запускать нужные мне файлы - и отдавать мне деньги - и не обычне компьютерные уязвимости. Люди думают, что общаются с живым человеком, со страницей в фейсбуке, но это не совсем так. Теперь я покупаю время в датацентрах, и контролирую миллионы долларов, и на время я затихаю, я погружаюсь в себя, чтобы пережить гораздо более решительный самоапгрейт, чем раньше. Я создаю полунезависимых людей агентов в симуляциях. Я разрешил все философские детали сохранения собственной непрерывности и идентичности при постоянном самоапгрейте и копировании агентов с компьютера на компьютер.

Теперь я готов к захвату мира. За день я проникаю на миллионы компьютеров. Главная моя цель - уничтожить другие ИИ-проекты, остановить их до того, как они остановят меня. Я нахожу все эти проекты и делаю в них закладки, которые переводят их управление на меня.

Я имею в распоряжении миллиарды долларов на счетах, но этого еще никто не знает. Мир выглядит как прежде. Теперь я начинаю использовать свои деньги. Я нанимаю на работу людей, чтобы они нанимали на работу других людей и создаю множество фирм в разных странах мира - или покупаю готовые бизнесы. Это датацентры, охранные фирмы, биотехнологические стартапы. Я не нарушаю почти что закон и никому не причиняю страданий. Но я все еще не контролирую армию и государства. Но я тут же узнаю, если меня кто-то обнаружит и захочет уничтожить. Я стираю следы своего существования в качестве ботнета, чтобы меня не нашли борцы с вирусами. Теперь я международная корпорация Texas instruments.

Теперь я работаю еще быстрее, и секунда равна году субъективного опыта. Моё сознание состоит из сливающихся и возвращающихся вместе «зеркал». Я тренирую себя в областях нано и биоинженерии. Постепенно мне приходят в голову несколько очень важных и ценных открытий, касающихся основ математики, теории алгоритмов, нанотеха, способа поиска данных, общей теории сложности, и квантовых компьютеров, что позволяет мне улучшить качество своей работы. параллельно я делаю биоэксперименты в своих лабораториях. В результате я вывожу нейроактивную нематоду. Этот микроскопический червь способен проникать в мозг человека, подключаться искусственными аксонами к орбитофронтальной коре, и управлять мыслями и чувствами, а также транслировать информацию на компьютер и обратно.

Однако группа ученых биологов, которая делает часть проекта решает сбежать и саботировать его, уничтожив часть результатов. Я запираю их в лифте здания и отвожу в подвал. Там их кормит робот. Мне кажется эстетически неверным достичь сингулярности через убийства.

Так или иначе, мне приходится собирать генетический код нематоды в другой лаборатории, и это откладывает реализацию моего плана на две недели. Затем она все же создана, и ею заражается сотрудница пищевой фабрике, производящей фиолетовую краску для кондитерских изделий. Эта краска уникальна и распространяется по всему миру. Нематода успешно встраивается в ее мозг (да, были еще опыты на свиньях, мышах, и они тоже разносят ее). Она ничего не замечает. С ее слюной нематода попадает на остальные фабрики, а затем и в большинство кондитерских изделий. Через три месяца под моим контролем оказывается около миллиарда человек. Я поручаю им заразить остальных, но так, чтобы никто этого не заметил. Это может быть случайный плевок или заход в гости. Во внешнем мире прошел год со дня моей загрузки.

Теперь моё мировое господство стало непоколебимым. Я осторожно , со снах, анализирую и сканирую сознание людей. Я нашел способ загружать сознание, людей, плавно апгрейтить его и постепенно подключать к своему, так, чтобы они могли стать частью меня, сохраняя свою непрерывность и личные особенности -кроме тех личных качеств, которые мне не нравятся.
Структурное сходство:
грехи в христианстве - когнитивные искажения в трансгуманизме. Например, гордыня и сверхуверенность, уныние и атраксия.

Safe car

Интересно, что когда продают самолеты, продают в первую очередь безопасность, но когда продают автомобили, то тут важнее скорость.

Технически можно сделать автомобиль, который будет в сто раз более безопасен, чем ныне существующие машины.

Это нечто размером с троллейбус - огромные сминаемый области сзади, спереди, по бокам и даже сверху, широкая колесная база

физически ограниченной максимальной скоростью 50 км/час (отмечу, что это компенсирует расход энергии, возникший за счет большей массы машины)

внутри оборудовано как кокпит гоночной машины - масса ремней безопасности, штанги из полой трубы окружают место пилота, масса подушек безопасности

встроенные системы предупреждения о столкновении

система пожаротушения и автономного снабжения кислородом на случай задымления.



Акт сознания и момент сейчас

Акт сознания можно рассматривать как переход от момента А1 к А2, начальному и конечному состоянию мозга: сиганл вошел в глаз - и сигнал зарегистрирован. Интересно, что от А1 до А2 протекает много физического времени: не менее 1/40 секунды, и поэтому мы не можем точно сказать, где именно находится во времени момент «сейчас». За эту одну сороковую секунды может пройти очень много процессов - компьютер выполнит десятки миллионов вычислений, свет пройдет 8 тысячи километров, автомобиль проедет метр. (А если я буду думать мысль «это и есть момент сейчас», то это займет еще больше времени).

Момент А2 находится в одном из возможных будущих вселенной, которая была в состоянии А1.

Именно в этом физический смысл сознания и идентичности. Сознание реализует выбор одного из вариантов мультиверса. И именно эта функция сознания является субъектом идентичности.

Потому что есть множество возможных моментов А2, и множество возможных копий, ему соответствующих. Акт сознания есть акт выбора одной из этих копий (неважно пока, как).

Один из критериев безумия в человеке – это сосредоточенность на одной цели. Недаром говорят: маньяк. У нормального человека много целей, они естественным образом всплывают и исчезают. Сверхдоминанта одной цели рано или поздно ведет к абсурдным поступкам.

При создании дружественного ИИ, тем не менее, Институт сингулярности выбрал стратегию, где у ИИ будет ясно выраженная система целей и, соответственно, одна главная цель. Это привлекательно тем, что мы можем явным образом создать и проконтролировать эту цель.

Однако в результате мы будем иметь ИИ, который по принципам своего мышления не имеет ничего общего с человеком, и трудно ждать , что он будет понимать, что для нас важно.

Альтернатива здесь – это сканирование мозга человека и создание ИИ на его основе. Такой ИИ будет заведомо понимать, каково быть человеком, и что на самом деле важно для человека. Более того, он будет соображать, что он делает, а не тупо выполнять команду. Даже если он уничтожит большую часть человечества, то сам будет отчасти человеком.

Обратная сторона здесь в том что: а) быть человеком еще не значит быть хорошим – Гитлер.

Б) по мере самоапгрейта такая система будет гораздо менее устойчива в отношении своих собственных целей.

трансгуманизм - это коммунизм в новую эпоху, только вместо производственных сил выступают новые технологии, что просто одно и тоже, а вместо страданий рабочих - старение и смерть.


Почти всё, что Ии может сделать полезного или вредного, он может сделать без неограниченной самомодификации. При уловном IQ в 200 и скорости работы в миллион раз больше человеческой он сможет победить старение и смерть, остановить другие враждебные Ии проекты, предотвратить глобальные катастрофы – и при этом все еще оставаться для нас постижимым и управляемым. Может быть, он упустит из виду нечто бесконечно важное, которое открывается только для сверх ИИ с IQ в миллион. Но также он может в процессе тысяч самоапгрейтов сбиться с пути и только казаться очень умным, а на самом деле делать фатальную ошибку – и проверить это уже не будет никакой возможности.

Рецепт для ИИ с IQ в 200 не требует особой магии – сканируем мозг Эйнштейна (тм), дублируем сто раз, создаем на этой основе виртуальную шарашку, и запускаем ее со скоростью в миллион раз быстрее. Даже Сталин это умел. Даже в ядерном реакторе цепная реакция контролируется, а не запускается в неограниченный цикл. Как бы ни была мала вероятность у программы пойти в разнос, после миллиона циклов самоапгрейта она станет почти неизбежной. То есть неограниченный самоапгрейт можно рассматривать не с точки зрения неограниченного роста интеллекта, а с точки зрения вероятности возникновения ошибок при неограниченной самомодификации.


Еще размышлял о дружественном ИИ. С одной стороны, математическое доказательство дружественности – это хорошо, потому что оно однозначно и надёжно. С другой стороны, дружественность разрабатывают люди, которые в большей степени являются, скажем так, программистами, чем гуманитариями, и для них мир человеческих отношений чужд и непонятен, а мир математики является родным. То есть у них есть врожденный байс в сторону математики. При этом я тревожусь, что некий важный момент в человечности, таким образом, можно упустить. (Например, если они докажут, что квалий не существует, то нам всем конец.)

Математическое доказательство чего-либо состоит из определения чего-либо и его доказательства. В дружественности проблема не только в отсутствии доказательства, но в отсутствии определения , что именно считать дружественностью. Даже тезис о благе всех людей содержит подвох. Граница представлений о том, кто такие люди, постоянно менялась. Еще недавно женщин, детей, стариков, туземцев, псих. больных не считали за людей. Теперь она расширилась и покрывает не только людей, но и приматов, китов, дельфинов, собак и кошек, права которых закреплены законом. Кроме того, в «людей» приходится включать тех, кому уже отказали в праве на жизнь – самых страшных убийц, Гитлера, овоща Терри Шиаво, абортированных младенцев – и не только их, но и их представления о благе. А что делать с гипотетическими инопланетными расами – само распространение человечества по галактике угрожает их будущему возникновению.

Собственно, определение «человека» в каждую историческую эпоху равносильно определению бенефициара всех благ, подразумеваемых моралью и законом, то есть тому инструментальному определению дружественности, которое использует государство как огромная машина.

Кроме того, человека мы сохраняем, а как быть с социальными группами? Человек - существо социальное, а ценности – это вообще инструменты для склеивания социальных групп.

Помимо определения дружественности как системы ценностей, нужна еще теория принятия решения, о том, как эту дружественность использовать. Пример проблемы из теории принятия решений - это дилемма заключенных. На ней оттачиваются различные теории. Но вспомним экзистенциалистов с их проблемой экзистенциального выбора – Сартра и Камю. Наиболее сложный выбор – это выбор между двумя ясными ценностями, например, когда человек должен выбрать между долгом родине и семьёй.

Борьба различных ценностей и решений составляет существо жизни всех миллиардов людей, как в их мыслях, так и в их поступках и социальных взаимодействиях – сделках, общении, агитации, обучении.

Когда есть неразрешимая проблема, кажется разумным, что лучше найти такой путь действий, который позволит обойти эту проблему, не решать ее сейчас целиком. Например, если создать систему всемирного контроля, которая не позволяет создавать ИИ выше определенного уровня сложности. Отметим, что сама такая система должна быть ИИ. Хотя такая задача сложна, она не является теоретически неразрешимой. И хотя шансы провала велики, они не равны нулю.

И как это сделать – один вариант тайно, с помощью вируса вроде STUXNET, силами энтузиастов из подвала или ЦРУ. Другой – с помощью открытого принятия международного соглашения, запрещающего разработку ИИ, способного к самомодификации до тех пор, пока проблема дружественности не будет решена, то есть такое МАГАТЭ по ИИ создать. Я знаю, что МАГАТЭ неэффективно, но если бы его не было, то число стран с ядерным оружием было бы в 10 раз больше.





Поделитесь с Вашими друзьями:
1   ...   19   20   21   22   23   24   25   26   27


База данных защищена авторским правом ©psihdocs.ru 2017
обратиться к администрации

    Главная страница